En 1950, Alan Turing propose une idée très simple: une machine sera capable de «penser» le jour où les gens qui auront une conversation avec elle penseront 7 fois sur 10 avoir affaire à un humain. Ceux qui font aujourd’hui la promotion du «test de Turing» tournent donc la proposition à l’envers: pour décrocher le gros lot, quelqu’un doit produire un programme qui trompera 30% des humains.

Le problème est que ce test est trop subjectif pour être scientifique: certaines personnes peuvent être trompées par une première conversation et détecter la machine derrière la suivante. Tout repose non pas sur l'intelligence de la machine —du logiciel, en fait— mais sur la quantité de phrases-clefs et de vocabulaire intégrés dans sa mémoire. Et de fait, ça existe déjà: c’est depuis les années 1990 que des gens, placés devant une conversation par clavier avec un inconnu, croient parfois avoir affaire à un humain plutôt qu’une machine. Le plus connu est Cleverbot dont, en 2011, ses partisans avaient aussi prétendu qu’il avait « passé le test ».

La médiasphère a donc bourdonné depuis samedi, parce qu’un programme nommé Eugene Goostman aurait été le premier à passer le seuil des 30%: lors de la compétition annuelle Turing Test, organisée à la Société royale de Londres, 33% des utilisateurs auraient cru avoir affaire à un humain. Plus précisément, à un enfant de 13 ans, Eugene Goostman, vivant en Ukraine.

Intelligence artificielle? Pas si vite:

• le fait de «personnifier» un enfant de 13 ans dont la langue première n’est pas l’anglais a permis de simplifier considérablement le travail des programmeurs: des réponses étranges peuvent être attribuées à une méconnaissance de l’anglais;
• un enfant de 13 ans peut aussi mystifier ses vis-à-vis qui peuvent mettre certaines réponses évasives sur le compte des limites de ses connaissances;
• et le choix des juges est déterminant.

Bien que la transcription des conversations de samedi n’ait pas été publiée, au moins deux journalistes qui ont eu la possibilité de converser ces dernières semaines avec «Eugene» ont publié leurs propres conversations, et ils ne sont pas impressionnés. Comme l’écrit celui de l’agence Bloomberg, qui a tenté —en vain— de faire parler Eugene sur un massacre survenu à Odessa, Ukraine, le 2 mai, il est facile de voir comment 66% des «juges» ont vite compris, eux, à quoi ils avaient vraiment affaire.

Le fond du problème, a écrit Mark Humphreys, créateur en 1989 d’Eliza, qui fut peut-être le premier vrai «chatbot» de l’histoire —un robot programmé pour dialoguer— est qu’on voit mal comment le test de Turing pourrait devenir une méthode fiable pour évaluer l’émergence de l’intelligence dans la machine.

Je n’ai aucun problème avec le concept de machine qui devient intelligente... En fait, il n’existe aucune raison pour laquelle les principes qui sont derrière la façon dont nous travaillons ne pourraient pas exister dans un système artificiel. Mon problème est avec le test de Turing, pas avec l’intelligence artificielle.

Sans compter que derrière ce fameux critère —tromper 30% des gens— se pose une autre question: mesure-t-on l’intelligence de la machine, ou la crédulité des humains?