Jean-Gabriel Ganascia : «On ne peut pas mettre les lois de la guerre dans une machine»

Professeur à l’université Pierre et Marie Curie et chercheur au Laboratoire d’informatique de Paris 6, Jean-Gabriel Ganascia différencie nettement les risques d'accidents provoqués par des machines autonomes et une éventuelle prise de pouvoir des robots.

Que pensez-vous de la lettre ouverte de Musk-Chomsky-Hawking ?

Cette lettre fait écho à une tribune sur l’intelligence artificielle rédigée par Stephen Hawking et parue il y a un an. Cette tribune posait mal les problèmes. Elle ne reposait pas du tout sur une réalité scientifique mais sur ce qu’on peut qualifier de fantasme ou de topique de la SF. Derrière, il y avait l’idée de la «singularité technologique». Cette tribune disait cela en substance : on va atteindre un point de non-retour. A partir d’un certain moment, la technologie va prendre son autonomie. Cela veut dire qu’elle se déploiera d’elle-même indépendamment de la volonté des hommes. Nous y perdrions notre liberté de choix et serions soumis au pouvoir des machines. Or il n’y a pas d’éléments tangibles aujourd’hui qui permettent de justifier cette inquiétude. Les progrès de l’intelligence artificielle sont extraordinaires et ne mettent pas à l’abri d’accidents. Mais ce n’est pas pareil d’être attentif aux risques potentiels et de dire : «Attention, vous allez perdre le contrôle.»

L’inquiétude est-elle prématurée ?

Les auteurs de cette tribune disaient qu’on arrivait dans une phase de basculement ; ils laissaient entendre qu’elle était très proche. C’est une singularité au sens mathématique, c’est-à-dire une discontinuité. Cette approche s’inscrit tout à fait dans les déclarations de l’Institut de la singularité, de l’Institut du futur de la vie et de tout un type d’institutions qui manifestent ce genre de conception. Il y eut ensuite deux lettres ouvertes. La première, publiée en janvier sur le site de l’Institut du futur de la vie et signée par Musk et Hawking, portait sur l’intelligence artificielle en général. Une nouvelle lettre ouverte, publiée sur le même site et signée entre autres par Musk, Chomsky et Hawking, porte plus particulièrement sur les armes autonomes. Indépendamment de la référence implicite à la singularité technologique et d’un arrière-fond «transhumaniste», les questions posées sont légitimes. Les techniques d’apprentissage automatiques permettent aux machines de modifier leur propre programme. Si elles sont autonomes, elles risquent de nous échapper et de se conduire de façon imprévue. Cela signifie que des accidents sont possibles, mais pas que les machines prendront le pouvoir !

Mais est-on aujourd’hui au point d’avoir des machines autonomes ?

On a des dispositifs autonomes depuis longtemps. Ils sont conçus pour atteindre les objectifs qui leur ont été fixés à l’avance. Un missile à guidage laser, par exemple, une fois programmé, va «accrocher» sa cible jusqu’à ce qu’il parvienne à la frapper. Des drones procèdent ainsi, téléguidés par un humain à 3 000 km de là, qui leur fixe une cible, ils la prennent en charge ensuite avec un système de guidage. Mais le texte ne parle pas de ça, il dit pire : «Nous allons avoir des systèmes qui choisiront eux-mêmes leurs cibles.» Les cibles pourraient donc être choisies par l’arme elle-même, sans intervention humaine !

Cela génère donc un débat…

C’est effectivement inquiétant. Faut-il un moratoire ? Ce n’est pas aux scientifiques de décider mais aux politiques de se prononcer. Un certain nombre d’associations militent pour un moratoire. Des voix s’élèvent aux Etats-Unis pour défendre l’inverse : les robots soldats seront plus éthiques que les militaires, affirme en tête le roboticien Ronald Arkin. Ces positions radicales monopolisent le débat alors que la réalité s’avère beaucoup plus complexe. Il s’agit d’une vraie question politique pour les Etats. A supposer qu’un pays (ou un qu’ensemble de pays comme l’Europe) décide d’un moratoire, il risquerait de se trouver en situation très vulnérable face à d’autres acteurs qui ne s’embarrasseraient pas des mêmes scrupules. D’autant que le danger, c’est que les dispositifs de guidage pourront se diffuser n’importe où à l’avenir, car ils ne seront pas nécessairement coûteux. Il y a une analogie avec les armes bactériologiques et chimiques, armes sales mais relativement économiques.

Pourquoi le débat semble-t-il particulièrement intense actuellement aux Etats-Unis ?

Il faut comprendre le contexte politique. Sous le mandat d’Obama, le pays a connu une multiplication des drones, une amplification de la politique amorcée par Bush. Beaucoup de films sont sortis sur ce thème, comme Good Kill. La question posée est : faut-il poursuivre ces programmes et jusqu’où ? Si la population a conscience de leurs conséquences néfastes, ils auront peut-être moins de chances de se développer.

Mais aura-t-on demain un robot tueur autonome ?

Beaucoup de problèmes sont encore à résoudre. La voiture autonome Google a d’assez bons résultats mais comment peut-elle distinguer un piéton d’un policier pour obtempérer ? Cela ne signifie pas qu’on ne parviendra pas à un robot tueur autonome. Mais une fois que les armées auront surmonté la difficulté, il n’y a pas de raison que cela ne se diffuse pas quelques années après dans toute la société, vu la baisse des coûts des calculateurs. Qui plus est, une armée d’un pays «clean» voudra éviter les erreurs ; celle d’un pays terroriste n’aura pas les mêmes atermoiements et se contentera d’un système moins coûteux car moins précis.

Comment se pose la problématique de la responsabilité ?

Cette question se pose avec tous les dispositifs autonomes. Les programmes informatiques désormais sont d’une telle complexité que, dans le temps de l’action, on n’est pas capable d’anticiper les comportements d’un dispositif automatique. La notion de responsabilité ne se pose plus dans les mêmes termes aujourd’hui qu’auparavant. Notre programme Ethicaa (éthique et agents autonomes, qui regroupe des chercheurs en intelligence artificielle, des philosophes et des spécialistes dans les facteurs humains) étudie comment mettre des systèmes normatifs sur ces machines autonomes pour les empêcher d’avoir des comportements contraires à certaines règles. Ronald Arkin va dire : «Ce sont les lois de la guerre.» Mais on ne peut pas mettre les lois de la guerre dans une machine ! On ne peut pas y mettre la discrimination qui suppose de distinguer les civils des militaires. On ne peut pas non plus respecter le principe de proportionnalité qui induit que la réponse soit proportionnelle à l’attaque.