Les IA rêvent-elles de «Blade Runner» ?
Un réseau de neurones a réussi, après l'avoir vu six fois, à reconstituer image par image le film de Ridley Scott.
L’intégralité de Blade Runner, le film de Ridley Scott adapté du roman de Philip K. Dick (Les androïdes rêvent-ils de moutons électriques ?) est disponible sur la plateforme Vimeo. Enfin, il n’y a pas de son et l’image est étrange, un peu floue, ou approximative, plutôt. Un peu comme le souvenir brumeux qu’on pourrait avoir de ce film quelques semaines après l’avoir vu. Etonnant de trouver sur ce site normalement dédié aux créations originales ce qui pourrait s’apparenter au piratage d’une œuvre cinématographique. D’après Vox, la Warner a d’ailleurs fait une demande de retrait DMCA. Mais le film est toujours là, car il ne s’agit pas vraiment de Blade Runner, mais de la reconstruction fascinante, image par image, du film par un programme d’intelligence artificielle (IA) qui a appris à reconnaître l’œuvre de Ridley Scott.
Avant d’aller plus loin, petit rappel sur les programmes d’IA. On a beaucoup entendu parler d’intelligence artificielle, de réseaux de neurones et de deep learning lors de la très médiatique victoire d’AlphaGo, le programme de Google Deepmind, sur le joueur coréen Lee Seedol. Mais si le go est un symbole important et un marqueur pour se rendre compte des avancées stupéfiantes réalisées par ce domaine ces dernières années, les progrès ont été surtout visibles dans un tout autre secteur : la reconnaissance d’images. En effet, c’est en 2012 que des algorithmes utilisant le deep learning (ou apprentissage profond en VF) ont commencé à dépasser les programmes utilisant des méthodes plus classiques. Une révolution, alors que le deep learning était considéré comme bien trop gourmand en puissance de calcul pour être sérieusement mis en application. Mais c’était sans compter les GPU, ces processeurs de cartes graphiques, très rapides et très à l’aise avec la manipulation d’images. Depuis, d’ailleurs, pratiquement tous les programmes d’IA fonctionnent en utilisant des GPU.
La force du deep learning, c’est de pouvoir isoler tout seul les éléments distinctifs d’une image et donc de les classer en fonction de ce qui est présent. Ainsi, les réseaux de neurones apprennent en analysant un tas d’images, notamment celles disponibles dans la base de données Imagenet et sont ensuite capables de reconnaître les éléments qu’ils ont déjà rencontrés. Et ça marche très bien. Les progrès réalisés ces dernières années sont stupéfiants. Mais ce qui l’est tout autant, c’est qu’on peut, en quelque sorte, faire fonctionner ces réseaux de neurones à l’envers. S’il sait reconnaître un chat à partir de toutes ses caractéristiques distinctives, pourquoi ne pourrait-il pas lui-même créer une image de chat ? Et ça marche !
En novembre 2015, une étape importante a été franchie dans la création d’images qui utilise les réseaux de neurones par Alec Radford et son équipe. Le jeune chercheur avait déjà fait parler de lui durant l’été 2015 en diffusant des images de pochettes d’album générées par la machine, mais il montre quelques mois plus tard une série d’images de chambre à coucher impressionnantes de réalisme. Pour y arriver, il a utilisé un réseau de neurones qui – on schématise encore – lutte contre lui-même. Une partie génère les images de chambre tandis qu’une autre partie essaie de distinguer si c’en est une vraie ou une création artificielle. Résultat, il réussit finalement à créer une série de vignettes particulièrement réalistes.
Moar pixels! Samples from 128x128 generative model of ~700K album covers. pic.twitter.com/ttsaDd979n
— Alec Radford (@AlecRad) 26 août 2015
Samples after one epoch on 2.7M LSUN bedroom samples suggests high visual quality is not just overfitting. pic.twitter.com/XekfbKMLTa
— Alec Radford (@AlecRad) 11 novembre 2015
Inspiré par cette réussite, le Britannique Terence Broad, étudiant en informatique et artiste, a voulu travailler sur la capacité d’un réseau de neurones à reconstruire un film entier. Mais impossible de se baser uniquement sur la méthodologie utilisée par Alec Radford, car ce dernier génère des images à partir de simples bruits. Terence Broad a donc travaillé à partir de trois réseaux. Le premier encode les images, les réduisant à 200 chiffres qui correspondent aux éléments distinctifs repérés par le programme. Le deuxième essaie de reconstituer l’image à partir de ces 200 chiffres. Et le troisième essaie de savoir si l’image est originale ou fabriquée, ce qui permet finalement de mesurer la différence entre les deux. Et, après six visionnages du film (qui ont quand même pris deux semaines à la GPU milieu de gamme de Terence Broad), grâce à la connaissance accumulée sur Blade Runner, l’étudiant a donc demandé à son programme de reconstituer l’intégralité du film. «La reconstruction de Blade Runner est meilleure que tout ce que j’avais pu imaginer», s’enthousiasme Terence Broad en conclusion d’un long article sur Medium, où il explique sa démarche.
Il retente ensuite l’expérience avec d’autres films, A Scanner Darkly, là aussi adaptation d’une œuvre de K. Dick, et Koyaanisqatsi, long métrage expérimental de 1982 qu’il apprécie beaucoup. Les résultats sont là aussi très probants. Mais ce qui est sans doute le plus captivant, c’est quand Broad s’amuse à faire fonctionner le réseau ayant appris Blade Runner à partir des données récupérées en encodant un autre film. Il a donc essayé plusieurs combinaisons à partir des trois films, et passé à la moulinette neuronale la célèbre publicité d’Apple tournée en 1984 par Ridley Scott. Ce qui aboutit à une brume hypnotique dans laquelle, parfois, on distingue des formes qui rappellent la vidéo originale.
Terence Broad le conçoit, sa démarche est tout autant scientifique qu’artistique. En utilisant un algorithme d’intelligence artificielle dont le but est de distinguer une image réelle d’une image reconstituée, il établit un lien direct avec Blade Runner. Dans le film, en effet, Rick Deckard, joué par Harrison Ford, essaie en utilisant une série de questions morales appelée «Test de Voight-Kampff» de démasquer des androïdes se faisant passer pour des humains. L’expérience de Broad est une mise en abyme qui questionne l’évolution des IA et l’ambition de les rendre les plus «humaines» possible.
Pour aller plus loin dans la compréhension du deep learning, on conseille cette vidéo très claire de Science étonnante.
