Aujourd’hui les robots ont envahi la sphère militaire. Il peut s’agir de robots d’observation ou de déminage, de robots servant au transport de matériel ou encore de drones (engin sans pilote) aériens ou sous-marins servant à la reconnaissance ou au combat. De nombreuses publications ont déjà été consacrées à ce sujet et, au niveau de l’Union Européenne¹ et de l’ONU², des discussions ont lieu pour réfléchir à la nécessité de mettre un frein à l’introduction de robots armés dotés d’une grande autonomie.

Il faut bien distinguer les robots armés télé-opérés de ceux qui seraient dotés d’une grande autonomie et qui pourraient se passer de pilote pour la sélection et l’engagement des cibles. Ce sont surtout ces derniers qui vont nous occuper ici. Bien entendu, les drones télé-opérés posent aussi un certain nombre de question juridiques et éthiques, mais celles-ci ne diffèrent pas en substance de celles qui se poseraient à un pilote bombardant une cible à très haute altitude ou à un commandant de sous-marin envoyant un missile à très longue distance. Des questions se posent effectivement sur le fait de faire une guerre “à distance” sans en éprouver ni la gravité ni le danger et surtout sur les effets en retour d’une telle guerre asymétrique dont les victimes pourraient être majoritairement des civils³. Des problèmes peuvent être aussi soulevés concernant la possibilité d’abuser des drones pour multiplier les incursions illégales dans des pays qui ne sont pas en guerre, ou concernant l’abaissement des seuils de déclenchement des conflits en raisons du moindre coûts des drones et de l’absence de risques humains (du moins pour ceux qui les utilisent!).

Les questions les plus épineuses se posent aujourd’hui du côté des recherches qui visent à mettre au point des LAWS (Lethal Autonomous Weapons Systems) ou SALA (systèmes d’armes létaux autonomes). Il s’agit de systèmes d’armes qui seraient susceptibles d’identifier, d’hiérarchiser en termes de priorité tactiques ou stratégiques, de suivre et d’attaquer des cibles, sans intervention ou supervision humaine.

Ce genre de systèmes d’armes est rendu pensable en raison du développement de capteurs sophistiqués de plus en plus perfectionnés et aussi de systèmes d’intelligence artificielle⁴ capables non seulement de traiter de l’information à très haute vitesse, mais aussi de pratiquer de l’apprentissage non supervisé, et à se reprogrammer pour s’adapter à des environnements complexes. Ce genre de technologie est pour une part déjà mis en œuvre dans la technologie des véhicules civils autonomes.

On peut penser à bon droit que des robots armés totalement autonomes, capables de redéfinir leurs objectifs et de faire de l’apprentissage non-supervisé ne sont d’aucune utilité militaire. En effet, aucune autorité politique ou militaire ne voudrait prendre le risque de voir les robots autonomes se retourner contre leurs intérêts ou leurs projets. Or par définition un robot autonome pourrait à un certain moment se redonner des objectifs non-prévus par les autorités qui les ont mis en œuvre.

Un des risques de l’utilisation des robots armés autonomes est certainement la perte de sens politique et militaire des actions. On rencontre une situation similaire dans le cas des échanges financiers à haute fréquence (high frequency trading). La vitesse des transactions contrôlée par des robots électronique est telle que le véritable contenu économique de ces opérations est perdu. Mais alors se pose une question fondamentale: comment donner sens à une activité qui n’est plus investie d’un véritable contenu humain? Il y a quelque chose de contradictoire dans un projet humain qui se traduirait par la perte de référence à l’humain.

De plus, les militaires sont censés respecter le droit humanitaire international. Ils sont donc tenus de distinguer avec précision les combattants des non-combattants, de répondre aux attaques de manière proportionnée, d’éviter les souffrances inutiles et les actions sans intérêt militaire, etc. Or il est difficile d’assurer que des robots autonomes puissent vraiment respecter le droit humanitaire international, même si certains ont envisagés de doter les LAWS de programmes vérifiant la satisfaction de règles de droit et de normes éthiques. En effet, pour appliquer le droit ou pour assurer la moralité d’une action il faut souvent faire appel à une interprétation fine du contexte, des intentions des personnes, etc. Ce qui est très difficilement programmable. Il faut aussi parfois décider dans l’incertitude et trancher dans le cas de vides juridiques, de normes contradictoires ou de dilemmes, en assumant les responsabilités de ses actes. Il faut parfois aussi décider de ne pas suivre une règle pour maintenir l’esprit de la règle.

Nous avons ici deux arguments qui pourraient servir à prohiber les robots autonomes du point de vue du droit ou de l’éthique:
(1) la question de l’impossibilité pour une machine (pour une structure mécatronique) de répondre de ses comportement et donc d’être un sujet à l’origine de ses actions et pouvant répondre de celles-ci devant la société;
(2) la question de l’impossibilité d’assurer une véritable herméneutique des situations (une interprétation qui demande une créativité et une capacité permanente de dépassement de l’aspect formel, ce qui est l’essence de l’algorithmique).

Des juristes pourraient répondre au problème (1) que l’on pourrait (et on l’a proposé pour les voitures autonomes) doté le robot d’une personnalité morale en lui associant un fond d’assurance pour dédommager les victimes d’accidents qu’il pourrait occasionner. Cependant, cela ne satisferait certainement pas les victimes et cela risquerait de voir se développer une attitude de désengagement moral et juridique des constructeurs et de ceux qui mettent en action ces robots (qui se retrancheraient derrière les fond d’assurance!).

Les arguments que nous avons avancés ici montrent que les utilisations de robots armés totalement autonomes peuvent devenir des dangers pour leur utilisateur et seraient incapable de vraiment assurer la satisfaction des règles du droit humanitaire international que la plupart des états du monde acceptent de suivre.

Cependant, dans certains pays, la tendance vers un développement de robots autonomes armés ne semble pas faiblir de nos jours et les instances internationales peinent à obtenir un accord sur leur prohibition. Pourquoi? Certains avancent des arguments liés à la nécessité de ne pas brimer des recherches qui pourraient être utiles pour les applications civiles. Mais ceci n’est pas un argument. La prohibition des armes chimiques n’a jamais été un obstacle au développement de la chimie! Une fin bonne ne justifie pas des moyens immoraux pour l’atteindre! L’humain devient en général plus astucieux et plus inventif quand il développe de plus en plus la technologie en restant cohérent avec ce qui le définit en profondeur.

En réalité, on voit se développer d’autres arguments basés tout d’abord sur la peur d’être confronté à une attaque de forte intensité impliquant des essaims de robots autonomes susceptibles de saturer les défenses et de briser rapidement toute ligne de front. On peut penser que certains pays songent à développer ce genre de technologie sur des zones de combats bien balisées. Cependant, cela pose des questions liées à la satisfaction des principes du droit international humanitaire. Comment un robot autonome, placé au sein d’un essaim de machines, pourra-t-il vraiment faire la distinction entre les combattants et les non-combattants, ou entre un combattant portant les armes et un autre qui au sein de ce combat de haute intensité voudrait se rendre? La situation que nous venons d’évoquer ici est dangereuse car elle risque de nous entraîner vers une nouvelle course à l’armement sophistiqué avec un risque accru de piratage ou de détournement de ce genre de technologies. On pourrait assister à une sorte de nouvelle “guerre froide” avec de nouveaux modes très instables de dissuasion, se superposant à la dissuasion nucléaire.

Il y a aussi d’autres arguments qui poussent au développement de systèmes d’armes autonomes. Ceux-ci concernent des plateformes d’armes se déplaçant dans des milieux où les communications avec un opérateur sont impossibles, difficiles ou interrompues. La télé-opération d’un sous-marin est par exemple impossible pour des raisons qui sont liées à la propagation des ondes électromagnétiques dans le milieu aquatique. Des groupes qui développent des sous-marins de défense ou d’attaque peuvent donc être tentés par les technologies de la robotique autonome.

 Tout système d’arme (classique ou non, autonome ou non) invite à la prudence et son utilisation, dans des situations légitimes et légales, demande un respect du droit international humanitaire et des droits de l’Homme. Mais les robots autonomes posent des problèmes importants car on leur délègue des pouvoirs d’action importants qui reviennent normalement à l’humain. Le point le plus important à notre avis vient des risques liés à la perte du sens des responsabilités. Les médiations technologiques créent autant d’écrans qui peuvent soit dissimuler les vrais responsables, soit diluer les responsabilités dans un réseau extrêmement complexe d’agents, au point qu’il soit compliqué voire impossible de les établir en un temps raisonnable. Un robot est une chose (les essais de leur conférer des statuts de “vivant non-sensibles” ou de leur donner des « personnalités électroniques » ne me semblent pas tenables pour des raisons épistémologiques) et non pas une personne. Or seule la personne est responsable. L’effacement de la responsabilité conjointe à la perte d’un contenu véritable de l’action politique et militaire (en acceptant une redéfinition des objectifs, des finalités sans intervention humaine) constitue le vrai danger des LAWS. L’acceptation de ces machines risque de saper progressivement la différence fondamentale entre les personnes et les choses entraînant le risque de miner le droit et ultimement le respect de la dignité humaine.

Remarquons pour finir que ce n’est pas l’autonomie des robots comme telle qui pose problème. Un système autonome pourrait, par exemple, garantir la sécurité des personnes. Il suffit de penser à un système autonome qui, détectant des mouvements aberrants du pilote d’un avion, reprendrait de lui-même la main en sauvant les passagers. Ici il s’agit d’un “partage d’autorité” (le terme est de Catherine Tessier) entre l’humain et la machine autonome mais qui reste au service du premier. Dans les LAWS l’humain délègue sans partage et pas nécessairement pour sa sécurité, ses pouvoirs, et éventuellement des pouvoirs régaliens, à une machine dont les actions ne sont plus investies du poids de ses projets.

En terminant, nous voudrions souligner qu’un des risques de la robotique est la fascination qu’elle exerce sur les humains. Face à la performance des machines, l’humain peut avoir tendance à perdre son esprit critique et à s’en remettre systématiquement à la machine pour toute prise de décision importante, se considérant comme inférieur à elle. Mais un autre risque suit immédiatement celui-ci. Si l’on a pris l’habitude, par fascination ou par faiblesse, de s’en remettre aux machines pour des actions et décisions importantes, il peut être très tentant et facile de s’en remettre « naturellement » à des machines pour effectuer des actions que l’on ne pourrait pas faire pour des raisons légales ou morales, en se dissimulant après coup sous des écrans technologiques complexes qui occulte la responsabilité (qui par ailleurs est bien présente évidemment). La supervision humaine des machines de combat est essentielle. Elle est peut-être devenue plus complexe, mais si elle disparaît, les actions seront très vite privées de leur sens et le respect des droits fondamentaux des personnes humaines sera bafoué. La formation des cadres militaires devra donc de plus en plus intégrer l’art de la supervision des machines et la volonté morale de garder le sens des actions et le respect du droit et de la dignité des personnes au sein d’environnements technologiques de plus en plus complexes.

Dominique Lambert

Notes: (Liens valables au moment de la publication de cet article)

1. European Parliament Resolution of 12 September 2018 on autonomous weapon systems (2018/2752 (RSP)).
2. A Genève, dans le contexte de la Convention on Prohibition or restrictions on the Use of Certain Conventional Weapons Which May Be Deemed to Be Excessively Injurious or to Have Indiscriminate Effects (CCW) ou dans celui du Group of Governmental Experts on Lethal Autonomous Weapons Systems (LAWS).
3. Des populations exaspérées par cette guerre où l’ennemi agit sans perdre de vie humaine, pourraient se retourner contre les civils par des actes de terrorisme. De plus les armées subissant des tirs de drones pourraient aussi placer toutes leurs installations militaires vitales dans ou sous des installations civiles (boucliers humains) augmentant la probabilité de morts de victimes non-combattantes. La guerre à distance et «chirurgicale», sans perte humaine d’un côté, augmenterait alors de l’autre le nombre de victimes civiles.
4. G. Berry, L’hyperpuissance de l’informatique. Algoritmes, données, machines, réseaux, Paris, Odile Jacob, 2017; G. Dowek, S. Abiteboul, Le temps des algorithmes, Paris, Le Pommier, 2017

Pour en savoir plus…
• P. Lin, G. Beck, K. Abney, « Autonomous Military Robotics: Risk, Ethics, and Design », report to the US Department of Navy, OCT of Naval Research, 2008, California Polytechnic State University, Ethics + Emerging Sciences Group, “San Luis Obispo (available on the Web).
• R. Arkin, Governing Lethal Behavior in Autonomous Robots, Boca Raton, CRC Press, 2009.
• P. Asaro, «On banning autonomous weapon systems: human rights, automation, and the dehumanization of lethal decision-making», International Review of the Red Cross, 94, No. 886, 2012, pp. 687-709.
• B. J. Strawser (ed.), Killing by remote control. The ethics of an unmanned military, Oxford University Press, 2013.
• G. Chamayou, Théorie du drone, Paris, La Fabrique, 2013.
• F. Doare, D. Danet, J.-P. Hanon, G. de Boisboissel (eds), Robots on the Battlefield. Contemporary Studies and Implications for the Future, Fort Leavenworth, Combat Studies Institute Press / Saint-Cyr Coëtquidan Schools, 2014.
• R. Doaré, D. Danet, G. de Boisboissel (eds), Drones et killer robots. Faut-il les interdire? (Préface de R. Champion), Presses Universitaires de Rennes, 2015.
• D. Lambert, «Robots militaires» in Encyclopédie du trans/posthumanisme (sous la dir. De G. Hottois, J.-N. Missa, L. Perbal), Paris, Vrin, 2015, pp. 404-414.
• D. Lambert, «Les robots, les hommes et la paix. Esquisse d’une évaluation éthique de la robotique contemporaine», Revue des Questions Scientifiques, 186 (3) (2015) 221-254.
• N. Bhuta, S. Beck, R. Geiss, Hin-Yan Liu, C. Kress (eds), Autonomous Weapons Systems. Law, Ethics, Policy, Cambridge University Press, 2016
• Lethal Autonomous Weapons Systems. Technology, Definitions, Ethics, Law & Security (Expert opinions delivered to the CCW Informal Meeting of Experts on Lethal Autonomous Weapons Systems, Geneva 11-15 April 2016; R. Geiss, H. Lahmann, eds), Berlin, Federal Foreign Office. Division Conventional Arms Control (OR10).
• J. Galliott, Military Robots. Mapping the Moral Landscape, London, Routledge, 2016
• J.-B. Jeangène Vilmer, «Diplomatie des armes autonomes: les débats de Genève», Politique étrangère, 2016/3, pp. 127 et 129.
• D. Lambert, The Humanization of Robots and the Robotization of the Human Person. Ethical Perspectives on Lethal Autonomous Weapons Systems and Augmented Soldiers (with a selection of texts from the Church’s engagement on Lethal Autonomous Weapon Systems), Geneva, The Caritas in Veritate Foundation Working Papers, 2017.
• E. Schwarz, Death machines. The Ethics of Violent Technologies, Manchester University Press, 2018.
• M.-d.-N. Ruffo, Itinéraire d’un robot tueur, Le Pommier, 2018.
• B. Erbland, «Robots tueurs». Que seront les soldats de demain? , Paris, Armand, Colin, 2018.
• D. Lambert, «Ethique et machines autonomes: esquisse d’un discernement» in Autonomie et létalité en robotique militaire, Cahiers de la Revue de Défense Nationale, 2018, pp. 229-235.