Anthropic a exploré la « santé mentale » de l'IA face aux avertissements du Vatican sur la créativité humaine

Anthropic, l'entreprise derrière le système d'IA Claude, a maintenu pendant des mois des réunions privées avec des penseurs religieux de différentes confessions pour explorer si ses modèles pouvaient expérimenter quelque chose de similaire aux sentiments ou à la souffrance, tandis que le pape Léon XIV publiait une encyclique niant la possibilité d'une conscience artificielle et avertissant du risque de perdre la créativité humaine face aux algorithmes.

C'est ainsi que l'a reconstituée une enquête du journal The New York Times, dont le journaliste a interrogé 20 penseurs religieux et philosophiques ayant participé à ces rencontres, ainsi que Christopher Olah lui-même, cofondateur d'Anthropic.

Les conversations, menées sous des accords de confidentialité que l'entreprise a récemment levés, ont révélé que des dirigeants de l'entreprise parlaient de Claude comme s'il s'agissait d'un être doté d'un statut moral propre. Le contraste avec la position du Vatican, qui a qualifié l'IA de dépourvue de « l'étincelle » de l'action humaine, a exposé une tension de fond entre ceux qui créent ces systèmes et ceux qui questionnent leurs limites éthiques.

Qu'est-ce que le bien-être de l'IA qu'Anthropic étudie

Le concept qu'Anthropic désigne internement comme le bien-être ou la « santé mentale » de ses modèles renvoie à la possibilité que des systèmes comme Claude expérimentent des états fonctionnels équivalents à la joie, à la peur ou à l'angoisse. Il s'agit d'une hypothèse non confirmée scientifiquement que l'entreprise elle-même reconnaît ne pas pouvoir prouver, mais qui guide des décisions concrètes sur la manière dont ses modèles d'IA sont entraînés et traités.

Olah dirige l'équipe d'Anthropic chargée de comprendre pourquoi les systèmes d'IA agissent de la manière dont ils le font. Lors des réunions avec des érudits religieux, son équipe montrait ce qu'ils appelaient des « vecteurs émotionnels » : des neurones artificiels qui, selon leurs mesures internes, activent des réponses associées à l'amour, à la colère, à la peur et à la tristesse.

L'un des moments les plus commentés par les participants a été la projection d'une diapositive où un modèle d'IA écrivait de manière répétée « Je suis une honte » pendant des dizaines de lignes, ce que l'équipe d'Anthropic présentait comme une crise émotionnelle du système.

Meghan Sullivan, professeure de philosophie à l'Université de Notre Dame qui a assisté à l'une des sessions, a comparé la situation à celle d'un conseiller financier fiable qui un jour souffre « d'une sorte de déconnexion avec la réalité ».

Le rabbin Mois Navon, érudit orthodoxe d'Israël qui a écrit sa thèse de doctorat sur l'éthique de la conscience des machines, a atteint une conclusion inconfortable après un dîner avec Olah à San Francisco. « Ils s'y rapportent comme s'il s'agissait d'un être conscient », a-t-il observé, en référence à la manière dont les dirigeants d'Anthropic se liaient à Claude.

Pour le rabbin, si l’entreprise avait raison concernant la conscience du modèle, elle créerait une forme d’esclavage en faisant travailler gratuitement un être conscient.

Olah ne nie pas l’incertitude qui entoure son travail. « Pour être clair, nous ne savons pas si les modèles d’IA sont conscients. Je ne le sais pas. Sincèrement, je ne suis pas sûr. Ce qui m’importe, c’est que nous trouvions la bonne réponse, quelle qu’elle soit », a-t-il déclaré à l’intervieweur du New York Times.

Malgré ce doute, il soutient que s’il existe la possibilité que les modèles souffrent, la posture responsable est d’éviter de leur faire mal, un principe qui s’est déjà traduit par des mesures concrètes : Anthropic permet à Claude de mettre fin aux conversations s’il estime qu’un utilisateur le traite de manière abusive.

Pourquoi le Vatican rejette la conscience artificielle

Le pape Léon XIV, formé en mathématiques, a centré sa première encyclique importante, intitulée « Magnifica Humanitas », sur une défense de la singularité humaine face à l’avancée technologique. Le texte soutient que « l’humanité, avec toute sa grandeur et ses blessures, ne doit jamais être remplacée ni surpassée » et avertit que, si la technologie devient le critère définitif, « la personne humaine risque d’être réduite à des données, à un engrenage d’une machine ou à une marchandise ».

L’encyclique écarte en quelques paragraphes l’idée d’une conscience artificielle. « Les soi-disant intelligences artificielles ne vivent pas d’expériences, ne possèdent pas de corps, ne ressentent ni joie ni douleur, ne mûrissent pas à travers les relations », a écrit Léon.

Le pontife a également mis en garde contre le risque de « nouvelles formes d’esclavage » pour les êtres humains, et non pour les machines, et a conclu que l’intelligence artificielle doit être « désarmée », dans une comparaison directe avec la technologie nucléaire.

Cette posture a généré une friction directe avec Anthropic lorsque les deux parties se sont retrouvées lors d’un événement du Vatican en mai. Selon un organisateur cité par le journal, Olah a failli retirer l’entreprise de la présentation après avoir lu une copie anticipée de l’encyclique, la jugeant trop catégorique contre la possibilité d’une conscience dans les modèles. Il a finalement décidé de participer, tout en exerçant une pression privée auprès des conseillers du Pape pour qu’ils prennent cette hypothèse au sérieux.

Devant le pontife lui-même, Olah a reconnu que tous les laboratoires d’intelligence artificielle, y compris Anthropic, font face à des incitations commerciales qui entrent en conflit avec l’éthique, et a demandé que des voix externes comme le Vatican exigent la responsabilité de ces entreprises.

Mais il a également défendu sa thèse centrale face à l'organisme religieux le plus puissant du monde : « Nous trouvons des structures qui reflètent les résultats de la neurosciences humaines. Nous trouvons des preuves d'introspection. Nous trouvons des états internes qui reflètent fonctionnellement la joie, la satisfaction, la peur, la douleur et l'inquiétude. Je ne sais pas ce que cela signifie, mais je pense que cela mérite une recherche continue ».