«Pendant trop longtemps, l'industrie a menti au public» : le PDG d'Anthropic admet avoir caché les risques de l'IA

Dario Amodei, directeur exécutif d'Anthropic, a reçu la journaliste Jo Ling Kent de CBS Sunday Morning au siège de l'entreprise à San Francisco. Elle lui a demandé un message pour quelqu'un qui utilise Claude ou ChatGPT à la maison et qui a peur. Sa réponse : « Je ne vais pas vous mentir. Il y a des dangers réels. Et je pense que pendant trop longtemps l'industrie a menti aux gens sur le fait que cette technologie présentait des risques ».

Il a ajouté que l'idée était de la présenter « aussi positivement que possible », qu'Anthropic ne l'a jamais fait mais que « trop d'autres acteurs du secteur l'ont fait », et que « tout commence par dire la vérité ». C'est la première fois que le dirigeant d'un laboratoire de pointe utilise le mot « a menti » à propos de son propre secteur.

La courbe qu'il n'avait pas prévue

Amodei a expliqué pourquoi il a écrit l'essai dans lequel il demande un ralentissement. « Avant même de fonder Anthropic, je disais que cette technologie est sur une exponentielle : un, deux, quatre, huit, seize, trente-deux. Mais même en me le disant à moi-même, je ne crois pas avoir pleinement apprécié ce que cela serait lorsque les progrès seraient aussi rapides qu'ils le sont ».

Sur le point actuel de cette courbe, Amodei a été graphique : « Nous sommes dans la partie où elle commence à devenir raide ».

Kent lui a demandé deux fois si c'est un incendie de cinq alarmes. « Cela ne signifie pas qu'il faille entrer en panique aujourd'hui. Cela ne signifie pas qu'il fail tout arrêter. C'est un signal d'avertissement indiquant que nous devons ralentir ».

Anthropic va-t-elle cesser de lancer des modèles plus avancés ? « Cela ne signifie pas cela ». L'idée, a expliqué Amodei, est que chaque nouvelle génération soit évaluée de manière exhaustive avant son lancement.

L'inspecteur des denrées alimentaires

Sur les évaluateurs externes que son plan propose d'intégrer dans chaque entreprise, il a donné l'image manquante : « C'est comme un inspecteur des denrées alimentaires ».

Lorsque Kent a objecté qu'aucun inspecteur ne peut suivre le rythme de cette technologie, Amodei a transformé l'objection en mécanisme : les évaluateurs pourront dire à quelle vitesse ils parviennent à la suivre, « et cela peut être l'un des facteurs qui fixent la limite de vitesse ».

On lui a demandé Jacob Coxon, le chercheur qui a démissionné en disant qu'Anthropic et OpenAI « misent sur nos vies ». Amodei a répété ce qu'il avait déjà dit : que Coxon avait également qualifié Anthropic de « la plus responsable des grandes » et qu'« il signalait honnêtement la même chose que je signale : la difficulté structurelle de la situation dans laquelle nous nous trouvons tous ».

« Je ne suis pas à l'aise avec le fait qu'une entreprise privée le construise »

La question sur sa responsabilité personnelle a produit la réponse la plus inattendue de l'interview. « Il a toujours été très étrange que cette technologie soit construite par une entreprise privée ». Les gens me demandent tout le temps pourquoi un gouvernement ne la construit pas. Et le plus étrange est que je suis d'accord avec eux. Je ne suis pas à l'aise avec cela », a reconnu Amodei.

Kent a été directe : livrerait-elle l'entreprise ? « À la combinaison correcte de gouvernements », a-t-elle répondu. Elle craint qu'un seul gouvernement n'abuse de la technologie « aussi facilement qu'une seule entreprise », mais « une combinaison de gouvernements élus démocratiquement, je ne sais pas si la livrer, mais un certain type de supervision, un certain type de gouvernance conjointe ».

Par ailleurs, elle a déclaré qu'elle parlait « tous les jours » avec des fonctionnaires du Commerce, du Trésor et de la communauté du renseignement des États-Unis.

Lorsqu'elle lui a dit que les gens ont l'impression que « quelques entreprises font ce qu'elles veulent », il a répondu : « Je le sais. Je sais qu'ils se sentent ainsi. Je ne l'ai jamais voulu. Nous devons trouver le moyen de faire en sorte que cela cesse d'être vrai ».

L'interrupteur d'extinction et le fromage suisse

Concernant l'idée d'un interrupteur pour éteindre l'IA, il a dit que « cela pourrait être une bonne idée », avec une mise en garde : « Si un modèle est suffisamment puissant, il peut contourner les tentatives de l'éteindre, et nous l'avons vu dans des simulations ».

Son modèle de défense est celui du fromage suisse : chaque couche de sécurité a des trous, mais cinq couches ensemble ont leurs trous à des endroits différents et il est très difficile de toutes les traverser. « Il n'y a pas une seule chose qui nous protège ».

Concernant une limite de vitesse mondiale pour l'IA, il a admis : « Ce sera très difficile, car les incitations à prendre de l'avance et l'avantage militaire sont énormes. Honnêtement, je ne sais pas si c'est possible. Mais nous devrions essayer ».

Le père, le cancer et les moqueries

Amodei a raconté que son père est mort d'hépatite C lorsque la maladie était curable dans 40 % des cas, et que quelques années plus tard un médicament l'a portée à 95 %. Amodei lui-même a survécu à un cancer précoce qui « m'aurait probablement tué en 1950 ». « Je ressens le poids d'apporter les bénéfices. Je ressens aussi les risques », a-t-il reconnu.

Deux jours plus tôt, Anthropic avait publié un rapport sur des tentatives d'utilisation de ses modèles pour augmenter l'infectiosité des virus.

« Presque tous les jours on se moque de moi sur les réseaux sociaux parce que les sauvegardes de biologie de notre modèle sont trop fortes. Les étudiants en biologie se plaignent. Je préfère qu'on se moque de moi plutôt que de me réveiller un jour et de découvrir que quelqu'un a utilisé Claude pour tuer beaucoup de gens », a-t-il affirmé.

Le plan est le même que celui publié samedi. Ce qui a changé, c'est l'aveu : le PDG de l'entreprise qui se présente comme la plus prudente dit que son industrie a menti, et qu'il ne veut pas porter seul ce pouvoir.