Faits à retenir

• Les armes autonomes étaient d’ores et déjà une réalité avant l’IA
• L’ajout de l’IA leur procure une rapidité et une complexité accrues
• Cette complexité rend difficile, même pour leurs opérateurs humains, de prévoir le comportement de ces armes

Qu’est-ce qu’un « système autonome »?

Un système est appelé « autonome » si, à partir du moment où il est activé, il fonctionne seul, sans intervention humaine. Il peut s’agir autant d’un système simple comme un grille-pain, que du pilote automatique d’un avion, anticipait en 2016 Paul Scharre, auteur d’un rapport du Center for a New American Security sur le risque opérationnel des armes autonomes.  Les voitures « sans conducteur » que l’on nous promet depuis une dizaine d’années, entrent aussi dans cette catégorie. 

Où en sont les armes autonomes?

Les systèmes autonomes ont plusieurs applications dans le domaine militaire, observaient des chercheurs du Massachusetts Institute of Technology (MIT) dans un article de 2022. Par exemple, ils peuvent être utiles pour nettoyer un champ de mines ou pour approvisionner les troupes. Mais l’article s’intéressait plus particulièrement aux armes autonomes létales, dans le contexte du développement de l’intelligence artificielle. Et on en parlait depuis longtemps: dès 2016, Paul Scharre entrevoyait que cette automatisation des armes leur permettrait d’être plus précises et de limiter, en théorie, les dommages collatéraux chez les civils. 

De fait, les armes autonomes existent depuis longtemps, rappelait en 2022 Neil Davison, conseiller scientifique et politique principal au Comité international de la Croix-Rouge. Il donnait en exemple les systèmes aériens de défense contre les missiles ou les drones kamikazes, qui sont conçus pour voler au-dessus d’un champ de bataille et détruire certaines cibles prédéterminées —comme des radars ou des chars d’assaut. Dans un texte d’opinion publié en 2018 dans la revue Foreign Policy, Paul Scharre estimait qu’au moins 30 pays utilisaient déjà des armes autonomes pour défendre leurs bases, leurs véhicules et leurs navires.

L’ajout de l’intelligence artificielle

L’essor de l’intelligence artificielle (IA) ces dernières années a donc ouvert de nouveaux horizons. L’IA, soulignaient les chercheurs du MIT, permet notamment de concevoir des systèmes avec une vitesse de réaction encore plus grande qu’avec les systèmes informatiques d’avant. Les armes contrôlées par l’IA peuvent également continuer de fonctionner même si elles ne sont plus en mesure de communiquer avec leur base.

À l’heure actuelle, l’IA est utilisée surtout pour ces drones kamikazes et pour des véhicules aériens sans pilote. Par ailleurs, dès le début des années 2010,  la division militaire du géant sud-coréen Samsung  a développé des fusils sentinelles (sentry gun), capables de reconnaître des cibles humaines puis de tirer sur elles. Dans la même décennie, Israël aurait déployé ce type d’arme à sa frontière avec Gaza.

Les risques d’erreurs d’une arme autonome

C’est évidemment arrivé à ce stade que les systèmes autonomes utilisés à des fins militaires deviennent dangereux, s’ils ne fonctionnent pas comme ils le devraient. C’est ce qui était survenu en 2003 au-dessus de l’Irak, rappelle la journaliste spécialisée en technologies militaires Kelsey Atherton. Le système antimissile américain Patriot avait alors abattu par erreur un avion de combat britannique, tuant ses deux pilotes. L’ordinateur du Patriot avait conclu par erreur qu’il s’agissait d’un missile irakien et avait recommandé de faire feu.

Même si ce système n’était pas à proprement parler « autonome », puisque la décision finale de tirer revenait aux humains, sa capacité à traiter des données avec une grande rapidité était déjà de très loin supérieure aux capacités humaines. Vingt ans plus tard, on a atteint un niveau que peu imaginaient en 2003. Et pourtant, beaucoup de choses, aujourd’hui encore, peuvent amener les armes autonomes à se tromper ou à agir de façon imprévisible.

• Erreurs de programmation ou de conception du logiciel

Dans son rapport publié en 2016, Paul Scharre rappelait les résultats d’une étude qui avait conclu qu’on trouve en moyenne de 15 à 50 erreurs par 1000 lignes de code dans un logiciel. Si les programmeurs sont très rigoureux, ce taux peut diminuer jusqu’à 0,1. Dans un système composé de millions de lignes de code, cela laisse inévitablement des erreurs.

• Problèmes lors de la collecte de données

Dans la masse de données qu’utilise l’IA pour prendre une décision, la qualité de ces données peut faire une différence, peut-on lire dans un rapport de l’Institut des Nations unies pour la recherche sur le désarmement, publié en 2021. Or, en contexte de guerre, la qualité des données peut être problématique: une mauvaise ligne téléphonique ou une connexion satellite instable, des senseurs mal calibrés, la fumée qui nuit à la visibilité, etc.

De plus, le risque d’erreur augmente si l’IA a été entraînée avec des données qui ne correspondent pas à celles recueillies dans les conditions de combat, souligne Kelsey Atherton. Par exemple, le système Patriot, en 2003, avait été conçu en présumant qu’il devrait réagir à un nombre important de missiles. Or, pendant son premier mois d’opération, au tout début de la guerre en Irak, il a plutôt été exposé à 41 000 avions alliés et à seulement 9 missiles balistiques irakiens.

• Cyberattaques

S’ajoute à cela le fait que les systèmes militaires sont utilisés contre des adversaires qui ont tout intérêt à corrompre les données. C’est d’autant plus préoccupant que l’IA est facile à tromper. Dans une expérience réalisée en 2021 par la compagnie OpenAI, le simple fait de coller une étiquette avec le mot « iPod » sur une pomme amenait le logiciel à l’identifier comme un iPod avec un niveau de confiance de 99,7 %. Une autre expérience menée en 2018 a réussi à rendre un panneau d’arrêt indétectable en lui ajoutant des autocollants. 

• Interactions non prévues avec l’environnement

Paul Scharre donne aussi l’exemple de huit avions déployés dans le Pacifique en 2007. Lorsqu’ils ont traversé la ligne de changement de date, cela a provoqué un arrêt immédiat des systèmes informatiques. Ce bogue n’avait pas été identifié à l’étape des tests du système.

Les risques d’escalade

Tous les systèmes autonomes —militaires ou non— comportent des risques. Les dérapages des agents conversationnels dans la dernière année —ceux qui, par exemple, insèrent de fausses informations dans des textes— le rappellent aussi. Mais le potentiel de dommages est différent avec une arme, et pas uniquement parce que des vies humaines sont en jeu. Un soldat peut lui aussi se tromper et viser la mauvaise cible, mais le risque que plusieurs soldats fassent exactement la même erreur en même temps à plusieurs reprises, est faible. La machine autonome, elle, pourrait effectivement répéter la même erreur jusqu’à ce qu’elle soit mise hors fonction. Dans un contexte politique tendu, prévient Neil Davison, les armes autonomes pourraient accélérer l’utilisation de la force et augmenter le risque d’escalade d’un conflit.

En raison de la rapidité de l’IA, il est difficile de prévoir combien de temps mettraient les humains avant d’intervenir. En 2018, Paul Scharre faisait un parallèle avec les algorithmes utilisés sur les marchés boursiers, qui prennent des décisions en quelques microsecondes, ce qui peut représenter plusieurs millions de dollars de transactions. Scharre citait aussi le Secrétaire à la défense des États-Unis Robert Work qui, deux ans plus tôt, avait résumé le problème ainsi: « si nos adversaires vont vers des Terminators, et qu’il s’avère que les Terminators sont capables de prendre des décisions plus vite, même si elles sont mauvaises, comment réagirons-nous? » 

Plus tôt cette année, le New York Times donnait la parole à des membres de la communauté militaire inquiets, dans un contexte où des règlementations sur l’IA se font attendre: « personne ne sait vraiment de quoi ces technologies sont capables lorsqu’il est question de développer et de contrôler des armes » et personne n’a la moindre idée « du type de régime de contrôle des armes qui pourrait fonctionner ». 

Une complexité difficile à saisir

Plus un système est complexe, plus il est difficile pour son opérateur de le comprendre. La complexité d’un système affecte donc la capacité de l’humain à en prévoir le comportement.

Rappelons à ce sujet que les armes autonomes contrôlées par l’intelligence artificielle se basent sur ce qu’on appelle l’apprentissage machine (machine learning). En d’autres mots, rappelle Neil Davison, ces logiciels s’écrivent eux-mêmes grâce à la grande quantité de données qui leur est fournie pour s’entraîner. Cela signifie que même le programmeur n’en connaît pas la structure interne et peut donc difficilement prédire son comportement.

Dans certains cas, l’humain pourrait même ne pas être en mesure de réaliser que le système se trompe. Déjà en 2003, les soldats qui utilisaient le système Patriot n’étaient pas en mesure de déterminer si les informations fournies par le système étaient pertinentes. Ils lui ont donc fait confiance et ont accepté sa recommandation de faire feu.

Verdict

Les armes autonomes contrôlées par l’IA existent d’ores et déjà, et en dépit des progrès des dernières années, il est acquis qu’elles peuvent encore faire des erreurs. De plus, le potentiel de dommages élevé est inhérent à la nature même de ces systèmes: leur rapidité, qui constitue leur principal attrait aux yeux des militaires, et leur complexité.