Cela fait 66 ans qu’on n’a pas trouvé mieux que le test imaginé en 1950 par l’Anglais Alan M. Turing. Celui qui fut, entre autres !, le précurseur de l’Intelligence artificielle (IA) trouva en effet une manière de mesurer l’intelligence d’une machine malgré le manque de définition scientifique claire et univoque de ce concept (ce qui est encore le cas).

Mais deux spécialistes de l’IA viennent de publier un article dans le Journal of Experimental & Theoretical Artificial Intelligence révélant les limites de ce test, alors que les progrès et la diffusion de l’IA dans de nombreux secteurs dont la sécurité rend absolument nécessaire l’évaluation de leur niveau d’intelligence.

Une machine qui bugge peut donner l’illusion d’être intelligente

La trouvaille des auteurs n’est pas technique, et peut même sembler franchement anecdotique. Mais elle a l’avantage d’enterrer un peu plus ce test basé sur le jugement humain et non pas sur une définition scientifique de l’intelligence.

Les auteurs montrent en effet comment plusieurs systèmes IA ont gagné au test tout simplement en buggant et donc en ne répondant pas aux questions des évaluateurs.

Le test de Turing

Le “jeu de l’imitation”, comme l’a nommé Turing dans son article originel, est très simple. Il suffit d’enfermer dans une salle une personne (le “juge”) munie d’un terminal d’ordinateur en lui permettant de communiquer avec une autre personne et l’IA qu’on veut tester – aucun ne voit l’autre.

Par des questions, le juge doit déterminer lequel est humain et lequel est une machine. Dans une version plus simple (ou “dégradée”) utilisée généralement, le juge fait face (caché) à un seul interlocuteur dont il ignore s’il est humain ou machine.

Pour une machine donnée, quand plus de 30% des juges ne peuvent décider si les réponses proviennent d’un humain ou d’une machine, alors la machine remporte le test – et elle est donc supposée avoir une intelligence comparable à la nôtre. CQFD

Des concours de tests de Turing peu concluants

Or l’un des auteurs de l’article, Kevin Warwick a co-organisé plusieurs concours de tests de Turing, notamment celui de 2014 à la Royal Society de Londres pour les 60 ans de la mort (par suicide) d’Alan Turing en 1954.

Et Warwick a observé que plusieurs cas de disfonctionnement des IA avaient conduit à un mauvais jugement : celles-ci ne répondaient plus au juge, lequel ne pouvait donc pas trancher. Or quand le juge ne peut trancher, a dit Turing, c’est que l’intelligence de la machine ne peut être distinguée de la nôtre.

Conversations buggées

Voici un exemple de test mené en 2008, présenté dans l’article :

• [13:12:39] Juge: Avez-vous déjà écouté du mozrt ? Qu’avez-vous ressenti ?
  [13:13:11] Entité:
  [13:13:34] Juge: Avez-vous écrit quelque chose ? Je ne le vois pas ?
  [13:14:05] Entité:
  [13:14:50] Juge: Vous ne dites toujours rien, un problème d’ordinateur ?
  [13:15:22] Entité:

Après 5 minutes de ce dialogue de sourds, le juge n’a fait d’autre commentaires que : “incertain”. Du coup la machine a “remporté” cette manche. Les auteurs de l’article multiplient les exemples de ce type, montrant la faillibilité du test imaginé par Turing.

Une limite de la science ?

Les critiques au test de Turing sont légions depuis soixante ans. Mais l’inexistence d’une alternative – autre que trouver enfin une hypothétique définition exacte et technique de l’intelligence – a un moment où les IA débarquent rend le problème vraiment sérieux.

–Román Ikonicoff

> Voir la vidéo de Science&Vie TV :

• L’intelligence artificielle plus forte que l’homme ?

> Lire aussi :

• Malgré ses réussites, l’intelligence artificielle manque de subtilité
• Les risques de l’IA deviennent enfin un sujet sérieux !
• Le champion du monde de go battu par AlphaGo, l’intelligence artificielle de Google
• Une intelligence artificielle qui reconnait les paysages du monde entier !
• Une intelligence artificielle résout seule une énigme biologique
• Voyez les hallucinations d’une intelligence artificielle !

> Lire également dans les Grandes Archives de S&V :

• Test : êtes-vous une machine ? — S&V n°1028 (2003). Sur internet, un test vise à essayer de faire la différence entre une intelligence humaine et une artificielle. Comme l’avait imaginé le mathématicien Alan Turing en son temps.

• Reconnaissance faciale : le triomphe de l’intelligence artificielle – S&V n°1162 (2014) – acheter ce numéro. Le domaine de l’Intelligence artificielle progresse à très grande vitesse grâce aux ressources fournies par les réseaux numériques. Le plus bel exemple en est la reconnaissance automatique des visages.

• Moteurs de recherche : voici qu’ils légendent les images – S&V n°1169 – 2015. Grâce à la fusion de plusieurs technologies IA, les chercheurs de chez Google ont conçu un système qui reconnait et légende les images.