Les vidéos sont « seulement pour démonstration » se défend l’un des chercheurs, Sen Fang, de l’Université Rutgers, au New Jersey. Avec son équipe, il a d’abord créé une immense base de données de vidéos de gens s’exprimant dans l’un des huit langages des signes reconnus internationalement. Ils en ont ensuite dégagé un modèle dit « squelettique » représentant le haut du corps d’une personne et ont « entraîné » leur modèle d’IA pour traduire, entre autres, depuis l’allemand ou l’anglais. Leurs résultats, qu’ils qualifient d’encourageants, sont présentés dans un article pré-publié en mai sur la plateforme ArXiv. 

Mais un article publié cette semaine dans le magazine de vulgarisation The New Scientist refroidit leurs ardeurs. Entre le personnage artificiel qui traduit un mot ou une phrase sous la forme d’images fixes et la transformation du tout en des vidéos par un autre outil technologique, il y a une marge. Ce sont ces neuf vidéos qui ont attiré l’attention sur les réseaux sociaux et provoqué les réactions négatives. 

Melissa Malzkuhn, qui enseigne à l’Université Gallaudet de Washington, une institution pour les sourds et malentendants, voit du potentiel dans ce travail, même si elle qualifie certaines des traductions « d’inintelligibles ». Elle souligne de plus que dans le langage des signes, les expressions du visage sont importantes. Or, ces personnages n’en ont aucune, les chercheurs s’étant concentrés sur les mouvements des bras et les mains.  

D’autres groupes y travaillent néanmoins. Son propre laboratoire développe des avatars pour des contes pour enfants —qui peuvent donc se permettre d’être très simplifiés. Une compagnie britannique et une néozélandaise travaillent à partir de vidéos, mais pour des circonstances limitées: des annonces d’arrivée et de départ dans une gare de trains pour la première, des situations d’urgence pour la deuxième. Le moment d’une conversation sérieuse avec ces avatars n’est pas encore à l’horizon.