Armes autonomes : un résumé du débat

Qu’est-ce qu’une arme autonome ? Faut-il les interdire ? Pourquoi ? Et si oui, est-ce même possible ? Voici la liste de tous les arguments pour et contre.

Depuis plusieurs années un débat fait rage dans les milieux de l’IA et de l’armement : que penser des armes autonomes ? Celles-ci constitueraient la 3ème grande révolution de l’art de la guerre, après le développement des armes à feu qui ont permis aux rois de renforcer leur pouvoir sur les seigneurs locaux en détruisant leurs châteaux et par ailleurs de mettre un terme à la menace nomade venue des steppes asiatiques, puis la mise au point de l’arme atomique qui a signé la fin de la seconde guerre mondiale dans le Pacifique comme chacun sait et nous a offert un équilibre de la terreur depuis.

Plusieurs questions se posent cependant sur ces armes d’un nouveau genre :

• Qu’est-ce qu’une arme autonome ?
• Faut-il les interdire ? Pourquoi ?
• Et si oui, est-ce même possible ?

QU’EST-CE QU’UNE ARME AUTONOME ?

Ce mot est devenu un fourre-tout, difficile de s’y retrouver. Les avocats de leur interdiction désignent des systèmes qui sont à la fois :

PUBLICITÉ

• capables de tuer,
• offensifs, c’est-à-dire capables d’attaquer, et non simplement de défendre,
•  autonomes, au sens de capables de se mettre en recherche d’une cible, jusqu’à l’identifier puis la neutraliser, le tout sans intervention humaine, en manifestant donc un certain degré d’autonomie, une certaine intelligence, en recourant à des algos d’IA.

Mais on voit bien que la définition est compliquée, Yann Le Cun explique par exemple qu’une mine antipersonnel est bien une arme autonome, mais tout ce qu’il y a de plus stupide, elle tue sans discernement celle ou celui qui marche dessus.

On trouve aussi des missiles et torpilles à tête chercheuse, capables de poursuivre leur cible en autonomie. Certains systèmes de ce genre remontent à la seconde Guerre mondiale ! La caractère autonome n’est pas vraiment nouveau et demande à être précisé.

Cela n’est jamais vraiment explicité non plus, mais le concept suppose aussi une forme d’incarnation matérielle, on ne parle pas là juste d’une IA, mais bien d’un matériel, un robot, un équipement avec ses munitions et son énergie, une combinaison de ces éléments, qui bien sûr fonctionne aussi grâce des algos. Une telle arme peut donc prendre la forme d’un drone volant, un drone sous-marin, un tank, un véhicule, un insecte robot, tout est possible, en forme et en taille, utilisant des projectiles, des ondes, des bombes en tout genre.

Un exemple crédible de robot tueur est celui du microdrone capable en autonomie d’identifier sa cible dans une foule, de fondre sur elle et de s’y agripper avant de faire détoner sa charge explosive. Ce concept a été popularisé dans la vidéo « Slaughterbots » conçue par les avocats de l’interdiction des armes autonomes.

Pour reformuler on pourrait dire que le débat concerne « les machines intelligentes destinées à tuer proactivement sans intervention humaine »

Cette définition reste toutefois contestable et vague, car qu’est-ce que l’intelligence ? La frontière n’est-elle pas ténue entre être capable de se défendre et attaquer ? Quand considère-t-on qu’il y a intervention humaine ? Si j’allume un robot tueur le matin qui part ensuite en autonomie exterminer des cibles toute la journée, est-ce qu’il y a eu une intervention humaine ? Auquel cas on n’aurait pas affaire à une arme autonome ? On aurait pourtant envie de dire que si.

Avançons néanmoins dans notre compréhension du débat avec cette définition approximative en tête.

FAUT-IL INTERDIRE LES « LES MACHINES INTELLIGENTES DESTINÉES À TUER PROACTIVEMENT SANS INTERVENTION HUMAINE » ?

Voici les arguments les plus pertinents qu’on peut trouver en lisant nombre d’articles sur le sujet :

POUR L’INTERDICTION :

1.     Sans interdiction, ces armes finiront tôt ou tard par être produites en quantité industrielle. Certaines d’entre elles, telles les microdrones tueurs de la vidéo plus haut, seront bien plus compactes, bien moins chères et bien plus simples à utiliser que des kalachnikovs, si bien qu’elles finiraient nécessairement par arriver d’une façon ou d’une autre, en grande quantité, dans les mains d’entités malfaisantes, qui seront en mesure de lancer des attaques meurtrières et surprises de grande ampleur. C’est à ce titre qu’elles constituent des armes de destruction massive et doivent être interdites.

2.     Les armes autonomes, et notamment les microdrones tueurs, parce qu’ils peuvent être déployés en masse par un très petit groupe de personnes, donnent lieu au casse-tête de l’imputabilité, on prendrait le risque d’assister à des massacres de grande ampleur sans qu’on puisse savoir clairement qui est derrière, ce qui peut ensuite aussi servir de prétexte à des représailles contre des ennemis bien pratiques mais innocents (on se souvient de l’invasion de l’Iraq par les Etats-Unis après le 11 Septembre).

On imagine déjà les opérations sous faux drapeau en tout genre menées pour déstabiliser une région, un pays, ou provoquer une guerre entre deux grandes puissances par un tiers tapi dans l’ombre. Il faudrait donc absolument éviter de développer des armes capables de destruction massive et dont l’usage serait difficilement imputable. Et même sans aller jusqu’aux tueries de masse, ces armes permettraient comme jamais les assassinats ciblés intraçables. Rappelons que c’est un assassinat qui a déclenché la Première Guerre Mondiale.

On objectera que le problème de la difficile imputabilité n’est toutefois pas du même ordre que pour la cyberguerre, il faudra tout de même qu’un petit groupe de personnes a minima passent à l’action dans le monde réel pour déclencher une attaque, et on voit bien que les services de renseignement arrivent le plus souvent à remonter les filières, même s’ils peuvent, c’est vrai, en profiter pour désigner au passage d’autres coupables. Le problème reste donc ici marginal à côté de celui bien plus large de la cyberguerre.

3.     En permettant de tuer et détruire de façon ultra sélective et sans avoir à engager de troupes, ces armes pourraient paradoxalement abaisser le seuil à atteindre pour que se déclenche une guerre. Si un pays n’a plus à payer le prix du sang pour aller intervenir sur un théâtre d’opération, peut-être qu’il hésitera moins à le faire, ce qui pourrait causer plus de guerres qu’avant. On peut citer Yuval Noah Harari :

« If the USA had had killer robots in the Vietnam War, the My Lai massacre might have been prevented, but the war itself could have dragged on for many more years, because the American government would have had fewer worries about demoralised soldiers, massive anti-war demonstrations, or a movement of ‘veteran robots against the war’ (some American citizens might still have objected to the war, but without the fear of being drafted themselves, the memory of personally committing atrocities, or the painful loss of a dear relative, the protesters would probably have  been both less numerous and less committed). »

L’objection possible est que le coût en vies humaines serait peut-être moindre pour la puissance qui attaque avec ses armes autonomes, mais si en face les victimes devaient être trop nombreuses, et c’est bien ce que craignent les avocats de l’interdiction, il y a aussi fort à parier que dans un monde globalisé cela se saurait très vite et qu’on aurait les images pour le voir, ce qui ne manquerait pas d’émouvoir la communauté internationale et de faire culpabiliser les opinions publiques, celle du pays agresseur, ou du moins celle des autres pays. On peut donc sans doute relativiser cette motivation.

On peut citer ici Yann Le Cun :

« Les guerres modernes sont sensibles à l’opinion publique et le caractère meurtrier d’une guerre la rend, au minimum, suspecte. Ce sont les opinions publiques intérieures et internationales qui ont poussé les Etats-Unis à se désengager du Vietnam. Militairement ils étaient supérieurs, mais l’accumulation de victime s’est retournée contre eux. »

4.     Les armes autonomes, bourrées d’électronique embarqué et ultra connectées, seront vulnérables au piratage informatique. Si une puissance hostile pouvait prendre le contrôle de telles armes et les retourner contre leurs propriétaires initiaux ou autres cibles, les conséquences pourraient être dramatiques.

Cependant ce problème concerne en fait plus largement tous les engins téléguidés avec beaucoup d’électronique, pas seulement les armes autonomes, et comme il n’est pas question d’interdire ces armes et équipements militaires téléguidés, ajouter à cela les armes autonomes ne change pas grand-chose à cette menace bien réelle. Certains disent d’ailleurs que les voitures autonomes constitueront demain la menace majeure à la sécurité avant les armes autonomes: vu qu’elles seront très nombreuses et évolueront à proximité de civils dans les villes, un piratage généralisé qui les transformeraient en voitures béliers serait des plus dévastateurs.

5.     Interdire ces armes ne réglera pas tous les problèmes, mais il vaut mieux une interdiction imparfaitement respectée que pas d’interdiction du tout. L’encadrement de la prolifération nucléaire, l’interdiction des armes bactériologiques et chimiques, des mines antipersonnel et des lasers aveuglants sont des exemples révélateurs : ce n’est pas parfait, mais on se porte sans doute bien mieux avec que sans ces interdictions.

On objectera que le cas du nucléaire est à part compte tenu de la difficulté de le développer couplée à son caractère destructeur absolu, c’est ce qui a amené à un certain équilibre du fait du risque de Destruction Mutuelle Assurée. Pour les autres interdictions, elles tiendraient car le ratio [(efficacité)/(stigmate associé à leur usage)] est jugé trop faible par les militaires : elles ne sont pas assez efficaces, moins efficaces qu’anticipées au départ en tout cas, pour justifier leur usage au vu de l’horreur qu’elles inspirent.

Mais les armes autonomes constituent un tout autre enjeu : on voudrait demander aux nations d’y renoncer alors qu’on mesure encore mal leur potentielle efficacité et qu’on la soupçonne immense, c’est trop leur demander. Surtout quand le coût de production, une fois la conception terminée, est jugé modeste. Dans le même esprit, les tentatives d’interdiction des sous-marins et des missiles lancés par avion ont échoué lamentablement au XXème siècle par exemple ! Il paraît impensable que des nations puissent renoncer à développer de telles armes si toutes ne devaient pas s’associer à l’entreprise.

Et à ce titre, les discussions à l’ONU sont bloquées pour l’instant, entre autres par les Etats-Unis et la Russie. C’est sans doute pour ces raisons que le Royaume-Uni semble avoir changé de position entre septembre 2017 (UK bans fully autonomous weapons after Elon Musk letter) et novembre 2018 (Britain funds research into drones that decide who they kill, says report).

Enfin, quand bien même tout le monde se mettrait d’accord pour interdire les armes autonomes, faudrait-il pour autant croire la Chine sur parole, entre autres ? Xi Jinping avait promis à Barack Obama en 2015 de ne jamais militariser les petits îlots de la Mer de Chine, promesse trahie ensuite comme on sait. Qui peut croire que la Chine laisserait des inspecteurs aller fouiller des installations sur son territoire ? La technologie est jugée très prometteuse, et pas si chère à industrialiser, avec beaucoup des briques nécessaires à la conception disponibles dans le domaine public, on imagine mal que personne ne trichera jamais ! Pourquoi prendre le risque d’être le dindon de la farce en respectant un accord que d’autres pourraient violer facilement ?

CONTRE L’INTERDICTION

Il y a de fortes raisons de penser que les armes autonomes rendront les conflits moins sanglants.

D’abord, ce sont des armes plus obéissantes et compétentes : en effet, les armes autonomes sont en fait plus fiables que les humains car elles ne font que ce qu’on leur dit ou presque (pour encore longtemps) et le font mieux. Les humains, victimes de leurs émotions voire de leur perversité et sadisme, n’obéissent pas toujours, et quand ils font ce qu’on leur demande, ils ne sont pas aussi compétents que certaines machines qu’on peut doter d’aptitudes surhumaines : plus endurantes et rapides, visant mieux, etc. Les armes autonomes permettront de cibler chirurgicalement comme jamais les ennemis à abattre et les infrastructures à détruire, en laissant  le reste indemne.

Citons ici à nouveau Y. N. Harari : 

« On 16 March 1968 a company of American soldiers went berserk in the South Vietnamese village of My Lai, and massacred about 400 civilians. This war crime resulted from the local initiative of men who had been involved in jungle guerrilla warfare for several months. It did not serve any strategic purpose, and contravened both the legal code and the military policy of the USA. It was the fault of human emotions. If the USA had deployed killer robots in Vietnam, the massacre of My Lai would never have occurred. »

Ensuite, il y aurait une moindre violence car un moindre besoin de se préserver : une bonne partie de la violence des conflits vient du besoin pour les soldats de se protéger, de prendre le moins de risques pour leur vie. Cela amène les troupes engagées sur le front, dans le doute, à faire usage de leurs armes pour neutraliser l’adversaire, dans la logique « on tire d’abord et on voit ce qu’il se passe ». Les armes autonomes pourront être programmées pour être plus attentives, plus réactives que proactives dans l’usage du feu, car les perdre sera plus acceptable que de sacrifier des vies humaines.

Deuxième argument : une interdiction n’est pas utile, car des moyens de défense apparaîtront en réponse aux armes autonomes. Pour les drones par exemple, les chercheurs planchent sur des techniques permettant de brouiller les signaux qu’ils reçoivent afin de les désorienter, griller leur électronique à distance avec des ondes, en prendre le contrôle en les piratant, les capturer ou stopper avec des filets par exemple, mais aussi les détruire avec des lasers ou des projectiles. Bref, les idées ne manquent pas, « la nécessité est la mère de l’invention » comme on dit.

On pourra objecter que le problème des microdrones tueurs est bien plus coriace qu’il n’y paraît. La conclusion d’un exercice mené en 2017 par le Pentagone pour mesurer différents moyens de défense, et qui couronne 15 ans de recherche sur le sujet, est inquiétante : « résultats résolument  mitigés », « le casse-tête de contre-terrorisme le plus épineux », « la plupart des technologies testées sont encore immatures ». Il est tout à fait possible que ces microdrones continuent de garder une longueur d’avance sur les moyens défensifs, sachant que le besoin sera de se protéger partout, tout le temps. Il suffira d’une faille pour permettre un massacre. Il faut aussi voir que le tout n’est pas de trouver un moyen de neutraliser ces microdrones, mais de le faire d’une façon plus économique que ce qu’il en coûte de les produire, sinon c’est la défaite assurée à l’usure : neutraliser un drone à 1000 dollars avec un missile à 1 million de dollars n’a pas de sens !

Troisièmement, une interdiction est vaine, elle n’est pas possible car les termes sont trop vagues et seront trop aisément contournés, il sera impossible de la mettre en application. Elle pourra tenir en temps de paix, c’est-à-dire quand elle n’est pas nécessaire, mais volerait en éclat dès le début des hostilités. Par exemple :

Si on n’interdit que les armes autonomes offensives : les armes autonomes défensives seraient autorisées, mais la différence est-elle vraiment marquée ? Le hardware, l’équipement matériel dans les deux cas pourrait être le même, et la seule différence se fait au niveau software, quelques lignes de code pour schématiser. Une arme autonome défensive pourra ainsi être reprogrammée très facilement et rapidement pour partir à l’attaque. Idem pour les drones autonomes à seule fin affichée de reconnaissance et ne disposant pas d’armement embarqué : vu qu’ils ne sont pas pilotés par des humains, et peuvent coûter très peu cher à l’unité, ils peuvent aussi être reprogrammés pour se transformer en kamikazes et se jeter sur une cible.

Ainsi début 2017, l’armée de l’air américaine annonçait avoir testé avec succès le déploiement d’une centaine de microdrones depuis un avion de chasse en vol. « Ces drones ne sont pas préprogrammés individuellement, ils forment un organisme collectif piloté par un cerveau artificiel partagé leur permettant d’adapter leur vol les uns aux autres comme un banc de poisson ». Ces drones sont soi-disant développés à des fins de reconnaissance, mais on voit mal alors le besoin de les faire voler en formation serrée, l’usage offensif potentiel est à peine voilé.

Si on interdit les armes autonomes ne ciblant que les ennemis en uniforme ou que d’autres robots : idem, les armes peuvent être reprogrammées sans problème pour cibler les civils

Si on n’interdit que les armes complètement autonomes ne nécessitant aucune intervention humaine : on pourra très bien développer des armes semi-autonomes (cela existe déjà) qui supposent toujours qu’un humain valide une décision de tuer ou de frapper, « histoire de » comme on dit, mais elles pourront aussi être reprogrammées aisément pour faire sans, comment l’empêcher ?

CONCLUSION

Au vu de tout ce qui précède, il semble que l’essor des armes autonomes tueuses est inéluctable. Enfin, précisons que tandis qu’on se focalise sur cette menace, on en perd de vue une autre bien plus imminente : la cyberguerre dopée à l’IA. Le département de la sécurité intérieure des Etats-Unis a reconnu cet été qu’une cyberattaque en provenance de Russie aurait pu conduire à la prise de contrôle d’une partie de son réseau électrique.

On craint que ces tentatives puissent être amplifiées en fréquence et intensité grâce à l’IA. Un cyber ouragan nous menace, explique un ancien responsable de la stratégie d’Airbus. L’Institut Montaigne vient d’ailleurs de publier le rapport « Cybermenace : avis de tempête« . On ne parle pas non plus des dégâts sur nos sociétés permis par l’amplification via l’IA des moyens de désinformation grâce aux fausses images, vidéos et audios générés à l’envi, et autres appels en masse par des robots à la voix délicieusement humaine…

Par Thomas Jestin (revue de presse : Contrepoints – 25/11/18)* 

Thomas Jestin est un entrepreneur français basé à Singapour, cofondateur des agences de communication digitale KRDS et OhMyBot, présentes dans 6 pays. Il se passionne notamment pour les nouvelles technologies, l'intelligence artificielle et leur impact sur la société.

Publié par Gilles Munier sur 25 Novembre 2018,

Sur le web

*Source : Contrepoints

Sur le même sujet, lire aussi :

Après les drones-tueurs: les robots tueurs…

A Munich, une avant-première effrayante de l'apparition des robots tueurs

Le Mossad israélien investit dans la haute-technologie

Vidéo: Robots massacreurs: