La science parvient à « lire » l’esprit : le modèle d’IA qui reconstruit des images à partir de l’activité cérébrale

Le stade est plein, la balle est en l’air et tous les regards sont fixés sur le batteur, prêt à frapper avec sa batte de baseball. C’est une scène riche en détails et en signification symbolique, reconnaissable instantanément par les passionnés.

Un modèle d’IA de « lecture de l’esprit » appelé Brain-IT, développé dans le laboratoire de la professeure Michal Irani, de l’Institut Weizmann des Sciences, peut reconstruire cette scène en se basant uniquement sur l’activité cérébrale d’une personne qui l’observe. Brain-IT a appris à identifier des schémas d’activité cérébrale qui se répètent dans différentes régions cérébrales de différentes personnes pendant qu’elles traitent des images, ce qui lui permet d’apprendre à « lire » une nouvelle personne avec une rapidité sans précédent et une précision extraordinaire.

Ces dernières années, les scientifiques ont réussi à restaurer la capacité de parler à des personnes atteintes de paralysie grave, en utilisant des modèles d’IA personnalisés entraînés avec des dizaines d’heures d’enregistrements de leur activité cérébrale. Ces technologies changent des vies, mais sont encore loin de lire dans les pensées, car elles s’adaptent à des individus spécifiques et nécessitent un entraînement intensif. Brain-IT, en revanche, reconnaît des schémas d’activité cérébrale que nous partageons tous et les traduit en images.

« Aujourd’hui, il existe des modèles qui traduisent l’activité cérébrale en images, et peuvent même produire des reconstructions impressionnantes qui préservent raisonnablement bien le sens sémantique de l’image », affirme Irani. « Cependant, ils ont tendance à commettre des erreurs sur des caractéristiques de base, comme la composition et la couleur. Le nouveau modèle que nous avons développé les surpasse dans la reconstruction à la fois du contenu de l’image et de ses détails. De plus, alors que tout autre modèle nécessite des dizaines d’heures de scanners cérébraux pour apprendre à « lire » une nouvelle personne, notre modèle n’en a besoin que d’une heure ».

Le chemin pour développer Brain-IT —qui cette année a été sélectionné pour être présenté à la Conférence internationale sur les représentations d’apprentissage (ICLR, sigle en anglais), l’une des principales conférences mondiales sur l’IA— a été difficile. L’équipe de Irani, du Département des sciences de l’informatique et des mathématiques appliquées de l’Institut Weizmann, a dû faire face à une grave pénurie de données.

Entraîner un modèle d’intelligence artificielle de ce type pour atteindre des performances optimales nécessite une quantité énorme d’images, appariées à des explorations par imagerie par résonance magnétique fonctionnelle (IRMf, sigle en anglais) de l’activité cérébrale enregistrées pendant que les participants observent ces images.

Cependant, pour créer ces ensembles de données, les chercheurs doivent placer un grand nombre de participants dans des machines d’imagerie par résonance magnétique (IRM) étroites et confinées pendant de longues périodes. Par conséquent, le plus grand ensemble de données disponible contient des explorations IRM fonctionnelles (fMRI) d’au maximum huit individus, chacun ayant observé plusieurs milliers d’images ; une quantité relativement faible lorsqu’il s’agit d’entraîner des algorithmes d’intelligence artificielle.

La solution que Irani et son équipe ont imaginée pour pallier ce manque d’exemples ressemble à un dictionnaire bilingue bidirectionnel. Au lieu de développer uniquement un « décodeur » capable d’apprendre à reconstruire une image à partir d’une exploration fMRI, ils ont également conçu un « encodeur » qui apprend à prédire une exploration fMRI à partir d’une image.

« Nous avons réalisé qu’en traduisant dans les deux sens — depuis une image aléatoire jamais vue dans une machine IRM, vers une exploration cérébrale prédite, puis retour à l’image de départ — les modèles construiraient eux-mêmes un immense ensemble de données », explique Irani.

« Le plan consistait à nourrir l’encodeur avec des images jamais montrées à une personne dans un scanner IRM, à générer pour celles-ci des explorations cérébrales estimées, puis à transmettre ces explorations au décodeur, qui tenterait de reconstruire l’image originale. Ainsi, pendant l’entraînement, les modèles apprendraient à générer des explorations codant efficacement les images, même si ces explorations fMRI n’avaient jamais été réellement réalisées ».

Le principal défi dans le développement de l’encodeur résidait dans la variabilité entre les cerveaux individuels : une même image peut provoquer un motif d’activité différent selon les personnes. La solution a consisté à décomposer le problème en ses composants.

Au lieu d’essayer de coder une image dans une exploration cérébrale complète, les chercheurs ont divisé le cerveau en environ 40 000 « voxels cérébraux » — petites unités tridimensionnelles de volume — et ont mesuré la réponse de chacun à différentes images. Parallèlement, ils ont utilisé un modèle d’IA pour extraire des caractéristiques visuelles de base des images, telles que la couleur et la position, ainsi que des caractéristiques sémantiques reflétant le sens de l’image, par exemple un aliment ou un visage.

À ce niveau de détail, des motifs d’activité cérébrale se sont révélés récurrents entre différents cerveaux et associés à des caractéristiques spécifiques des images, une découverte qui a permis de construire un encodeur cérébral universel.

Le chemin vers la lecture de la pensée

Le codageur cérébral s'est révélé être bien plus qu'une étape technique vers le développement du décodeur. « Pendant l'entraînement, le codageur a identifié de manière naturelle 128 régions fonctionnelles qui sont partagées par toutes les personnes et jouent des fonctions spécifiques dans le traitement des images », explique Michal Irani.

« Certaines d'entre elles sont connues des neuroscientifiques, mais d'autres sont complètement nouvelles. Par exemple, nous avons découvert une division des fonctions au sein de la région cérébrale qui traite les images de lieux —la PPA—, avec une partie qui répond aux scènes intérieures et une autre aux scènes extérieures ».

« La force du codageur réside dans sa capacité à identifier des régions qui jouent des fonctions similaires dans différents cerveaux, même lorsque leurs emplacements anatomiques diffèrent », ajoute Irani.

« Un autre avantage est sa capacité à tester différentes caractéristiques de manière contrôlée. Par exemple, on peut lui fournir la même image en couleur et en noir et blanc, identifier les différences entre les explorations d'IRMf prédites et, à partir de là, inférer où la couleur est codée dans le cerveau. À l'avenir, le codageur pourrait également nous aider à comprendre comment différentes régions travaillent ensemble et comment la perception se forme ».

Le laboratoire d'Irani travaille désormais à étendre ces méthodes de « lecture de l'esprit » également au décodage d'informations auditives. La vidéo pourrait être une autre frontière. « Ce qui reste particulièrement difficile est le décodage de la vidéo, par exemple pendant les rêves », explique Irani. « Des dizaines d'images changent chaque seconde, tandis qu'une exploration d'IRMf prend environ deux secondes. Si nous surmontons tous ces obstacles, il est possible qu'à l'avenir nous puissions même lire les rêves ».