La question n’est pas seulement technologique, elle est devenue politique avec la querelle entourant à la fin-février la décision du ministère de la Défense des États-Unis de couper court à toute relation avec la compagnie Anthropic, après que celle-ci eut évoqué deux conditions pour l’utilisation de son IA générative, Claude. L’une étant le refus qu’elle soit utilisée pour alimenter des « armes létales autonomes » (en français, on rencontre parfois l’expression « robots tueurs »). 

Mais la question est également sémantique. Appliqué à des bombes ou à des missiles, le terme « armes autonomes » réfère au fait que des humains pourraient éventuellement ne pas avoir besoin d’être impliqués dans le processus décisionnel : c’est la somme d’informations recueillies au fil du temps —des données de géolocalisation de téléphones jusqu’aux images recueillies par des satellites, par des drones ou par des gens sur le terrain— qui permettrait à la bombe de déterminer quelle personne elle doit viser ou bien quel bâtiment.  

Dans la réalité, il y a encore un humain qui va prendre la décision finale. Mais les experts interrogés ces derniers jours semblent s’entendre sur le fait que face à une avalanche de données ou à une urgence, l’humain risque de plus en plus de s’en remettre au « jugement » de l’IA.

Or, « quand de tels systèmes se trompent, ils se trompent vraiment », commente le professeur d’études des médias Siva Vaidhyanathan, de l’Université de Virginie, dans un texte publié le 2 mars. « Des civils, souvent des enfants, paient le prix des erreurs de ces systèmes autonomes. Nous l’avons vu pendant cinq ans en Ukraine. Nous l’avons vu pendant trois ans à Gaza. Nous le voyons en temps réel en Iran. »

La destruction d’une école là-bas le 28 février, qui aurait fait plus d’une centaine de morts, est ainsi pointée du doigt: personne n’en a encore admis la responsabilité, mais des reconstitutions du New York Times et du magazine Bellingcat publiées le 8 mars pointent un missile Tomahawk américain. Pourrait-il s’agir d’une bévue attribuable à l’IA?

La semaine dernière, des universitaires et des experts juridiques se réunissaient justement à Genève pour un sommet des Nations unies (prévu depuis longtemps) sur les « systèmes d’armes létales autonomes ». L’existence même de ce groupe d’experts, formé en 2025, est une manifestation des inquiétudes face au développement rapide de l’IA dans le domaine militaire, et devant le fait que ce développement se fait sans aucun encadrement éthique ou légal. Quant à la chicane entre le gouvernement Trump et Anthropic, elle en est une autre manifestation: la condition posée par Anthropic —que son large modèle de langage, Claude, ne soit pas utilisé par le ministère de la Défense pour des systèmes d’armes autonomes— était connue depuis 2024, avant même la signature du contrat de 200 millions$ entre la compagnie et la Défense.

Dans un communiqué publié le 26 février, le président d’Anthropic, Dario Amodei, réitérait ce que tous les experts admettaient depuis des années, et continuent d’admettre aujourd’hui : les systèmes d’IA « ne sont simplement pas assez fiables pour alimenter des armes pleinement autonomes ». Une conclusion qui n’étonnera pas non plus les non-experts, poursuit Siva Vaidhyanathan, considérant le haut pourcentage d’erreurs auxquels les agents conversationnels nous ont habitués depuis trois ans. « Dans un contexte militaire, un échec imprévu est un civil mort. »

Dès lors, la question de la responsabilité se pose, poursuit Vaidhyanathan: 

Les armes autonomes sont, de par leur conception, des machines à dissoudre la responsabilité. Lorsqu’un algorithme recommande une cible, et qu’un humain l’approuve en quelques secondes sans informations adéquates, et que le système d’IA est gouverné par un contrat qui dit qu’il peut être utilisé pour tout objectif légal, la chaîne de responsabilité ne devient pas juste difficile à retracer, elle devient inexistante.

Le président de la compagnie OpenAI, Sam Altman, a ajouté à la controverse en s’empressant d’annoncer, le 27 février, qu’il venait de prendre la place d’Anthropic auprès du ministère de la Défense, mais tout en affirmant que l’entente incluait les deux mêmes interdictions —pas d'armes autonomes et pas de surveillance de masse des citoyens américains. Un débat se poursuit quant à savoir laquelle des deux compagnies a vraiment mis en place les meilleurs garde-fous.   

Des décisions de vie ou de mort prises par des logiciels

Le Comité international de la Croix-Rouge avait publié des avertissements, dès 2015 et 2021, sur les risques posés par ces « systèmes d’armes autonomes ». Ceux-ci « soulèvent des préoccupations éthiques fondamentales pour l’humanité, en substituant des décisions humaines sur la vie et la mort à des senseurs, des logiciels et des processus-machines ». 

Et pour empirer les choses, dans le cadre du conflit à Gaza, une enquête du New York Times publiée en décembre 2024 révélait qu’Israël avait « sévèrement affaibli les systèmes de protection destinés à protéger les civils, en adoptant des méthodes défectueuses pour trouver des cibles et évaluer les risques de victimes civiles ».

Cela se passait dans un contexte où, immédiatement après l’attaque meurtrière du Hamas en octobre 2023, l’armée israélienne avait déployé l’IA à une échelle sans précédent, avait révélé le magazine israélo-palestinien +972, en avril 2024. Un système appelé Lavender « utilisait l’apprentissage-machine pour générer une liste de dizaines de milliers de Palestiniens signalés comme suspects ». Un système qui, reconnaissaient ses utilisateurs, opérait pourtant avec une marge d’erreur de 10%.

Et tout cela se passe sans lois ni règlements, à l'échelle nationale ou internationale. La querelle entre Washington et Anthropic a jeté une lumière sur ce vide juridique, et le président d’OpenAI a dû s’engager dans une opération de relations publiques auprès de ses propres employés pour les assurer de ses engagements éthiques, résume le New York Times. Sauf que les règles encadrant l’IA militaire « ne devraient pas dépendre des engagements éthiques du PDG du moment, ou des préférences politiques de qui est ministre de la Défense » à tel ou tel moment, écrivait le 20 février dans le magazine de droit Lawfare, le professeur de droit Alan Rozenshtein, de l’Université du Minnesota.

En entrevue à l’émission On The Media le 6 mars, il allait plus loin : « toute l’histoire du complexe militaro-industriel depuis la Deuxième Guerre mondiale, consiste à déterminer les paramètres du contrôle entre le gouvernement et l’armée... A l’évidence, nous parlons de l’IA depuis à présent plusieurs années » et la question fondamentale demeure, aujourd’hui encore, « quelle autorité le gouvernement va pouvoir exercer sur le coeur de ces modèles et sur les opérations ». 

À cause de la façon « idiote » dont le ministère de la Défense s’est comporté en février, « nous avons ce débat de la façon la plus stupide possible. » Mais il n’en demeure pas moins que « c’est un débat dont nous avons désespérément besoin ».