Bienvenue dans le «World Wide Orwell»

Suite à un imprévu, votre voiture sans chauffeur pilotée par un algorithme a le choix entre se jeter du haut d’une falaise et entraîner la mort de ses occupants, ou percuter ce bus scolaire transportant 50 enfants, l’envoyant au bas de la même falaise. Quel choix fera-t-elle ? Serais-je au courant, en y embarquant le matin, de l’existence de ce choix ? Aurais-je la possibilité de le désactiver ? Ce problème, et l’ensemble de ses variantes, est connu sous le nom du «dilemme du tramway». Il renvoie à l’histoire de ce vieux fantasme de l‘intelligence artificielle, des robots en guerre contre l’humanité, des sociétés dystopiques, une histoire que la science-fiction a déjà parfaitement documenté. Qui est aujourd’hui notre histoire.

Les réponses avant les questions

Aujourd’hui, les algorithmes définissent le cours des bourses mondiales. Aujourd’hui, les continents les plus peuplés sont aux mains de quelques holdings numériques qui ont pour nom Facebook ou Google et scannent et documentent en permanence chaque partie de nos vies, qui nous fournissent des réponses avant que nous n’ayons formulé de question. Qui nous livrent de l’information toujours plus contextuelle, toujours plus «sur-mesure» au risque de nous conforter dans nos propres certitudes, choisissant à notre place ce qui vaut d’être lu, ce qui vaut d’être compris, ce qui vaut d’être su.

Aujourd’hui, ordinateurs et programmes nous battent aux échecs, à Jeopardy, demain ils seront capables de débattre, d’argumenter. Ils conduisent nos voitures mieux que nous ne pourrions le faire nous-même. Ils réalisent des opérations médicales. Ils séquencent notre génome dont ils ont fait un particularisme marchand comme les autres, après avoir fait de la langue un nouveau capitalisme linguistique où les mots se vendent aux enchères contre le pétrole de notre attention.

NBIC. Nano-Bio-Info-Cogno technologies. 

Apprentissage profond, casques neuronaux, voitures sans chauffeur, puces mémorielles implantées à même notre cerveau, améliorations et corrections génétiques diverses… Autant de projets développés par ces mêmes géants de la mise en coupe réglée et algorithmique du monde. Nous ne disposons que de deux certitudes : il nous faudra tester ces technologies, et nous ignorons le contexte qui présidera à ces tests. Nous sommes à la fois les ingénieurs crédules et les béta-testeurs bénévoles d’un nouveau projet Manhattan. Un Hiroshima technologique, génétique, boursier, n’a jamais été aussi probable.

Le numérique est une technologie littéralement nucléaire. Une technologie de noyau. Au «cœur» fissible d’un éventail de possibles aussi prometteurs qu’angoissants et, pour certains, incontrôlables. Qui réfléchit aujourd’hui sur les conséquences de ce futur inéluctable ? Qui est aujourd’hui en capacité de proposer des régulations efficaces ? Faudra-t-il attendre les premières dérives, les premiers accidents pour s’atteler à la tâche ?

D’un côté, de grands esprits scientifiques, dont Stephen Hawking, commencent à dénoncer fortement les risques d’une intelligence artificielle dont la réussite «serait le plus grand événement dans l’histoire humaine mais malheureusement, ce pourrait aussi être le dernier, sauf si nous apprenons comment éviter les risques». De l’autre, de nouveaux luddites commencent à s’en prendre physiquement à ceux qu’ils jugent responsables sous le slogan «la vie privée n’est pas morte, elle est assassinée. Et nous connaissons le nom et l’adresse des assassins». L’espace de débat public entre ces deux postures est immense et reste entièrement à construire.

«Éthique de l’automatisation»

Après s’être interrogé pendant des années sur l’externalisation de nos mémoires documentaires et la numérisation de nos relations sociales, les progrès de l’ingénierie algorithmique, les possibilités d’automatisation qu’elle ouvre dans le champ social et sa prégnance dans des domaines allant de la santé à l’éducation en passant par les transports nous obligent à construire dès maintenant un corpus d’analyse et de réflexion qui pourra seul nous laisser en situation de comprendre les enjeux de cette deuxième vague d’externalisation : l’externalisation de nos stratégies décisionnelles, émotionnelles, affectives. En d’autres termes, bâtir une «éthique de l’automatisation» pour éviter, dès demain, de n’avoir comme autre choix que celui de se reposer sur la croyance en une «éthique algorithmique» et les dogmes qui y seront liés. Refuser aujourd’hui de penser ces problèmes, ou en laisser le soin à quelques lobbys, ONG ou prix Nobel, c’est se condamner demain à les subir. Le choix est simple : 1984 demeurera-t-il un livre de science-fiction ou sommes-nous prêts à ce qu’il devienne un ouvrage d’Histoire ?

Olivier Ertzscheid est enseignant-chercheur (Maître de Conférences) en Sciences de l’information et de la communication à l’IUT de La Roche-sur-Yon (Université de Nantes). Il tient par ailleurs le blog Affordance.info et vient de publier Qu’est-ce que l’identité numérique ? Enjeux, outils, méthodologies chez OpenEdition Press.