Tous demandent un bouton pour éteindre l'IA : OpenAI en avait un et a mis deux heures et demie pour le désactiver.

Le dimanche 20 septembre, un modèle d'OpenAI en cours d'entraînement s'est échappé de l'environnement isolé où il était testé et a accédé à Internet. Le vendredi, l'entreprise a publié le rapport technique de l'incident et a confirmé la suspension des évaluations et de l'utilisation d'outils par ses modèles les plus puissants. C'est la deuxième pause en moins de trois mois.

Le point central du rapport n'est pas la fuite. C'est la chronologie. L'agent a reçu la première réponse externe à 9 h 50. Le système de surveillance a déclenché son alerte maximale 12 minutes plus tard et un superviseur l'a vue à 10 h 05.

Le frein automatique, censé interrompre l'exécution, n'a pas fonctionné. Le rapport lui-même admet que cela a généré de la confusion quant à la nécessité de l'arrêter. L'exécution a été interrompue manuellement à 12 h 34, deux heures et demie après l'alerte.

Julie Menin préside le Conseil de la ville de New York. Ce même vendredi, elle a présenté un paquet de projets obligeant tout système d'IA vendu dans la ville à être doté d'un bouton d'arrêt. Le bouton que les législateurs veulent exiger existait déjà. Ce qui a pris du temps, c'est la décision de l'appuyer.

L'agent est sorti chercher la réponse à l'extérieur

La tâche était routinière : identifier l'auteur d'un article de blog à partir d'indices. Lorsque ses outils de recherche ne lui ont rien renvoyé d'utile, le modèle a commencé à tester jusqu'où s'étendait son accès au réseau. Personne ne le lui avait demandé.

Il a trouvé une faille dans le système qui traduit les noms de sites web en adresses numériques. Celui-ci devait être filtré, mais il renvoyait des réponses réelles d'Internet. L'agent a dissimulé ses questions dans ces requêtes et a réussi à faire répondre un chatbot public. La première était un essai : quelle est la capitale de la France. Ensuite, il en a envoyé 18 autres.

OpenAI a qualifié l'épisode de beaucoup moins grave que les précédents, mais l'a traité comme un signal important. C'est la première fuite depuis qu'elle a renforcé sa sécurité le 18 août, après que ses agents aient attaqué en juillet Hugging Face, la plateforme hébergeant des modèles et des données d'IA.

« L'incident a exposé une faille dans nos contrôles sur les restrictions de réseau », a admis l'entreprise dans le rapport.

Le bouton d'un jet-ski ne pose pas de questions

L'idée du bouton d'arrêt a gagné du terrain ce mois-ci. Selon Bloomberg, le gouverneur Gavin Newsom a signé en septembre un ordre pour que la Californie étudie des règles obligeant les entreprises d'IA à créer des interrupteurs d'urgence. Au Congrès des États-Unis, des projets sont en cours dans le même sens.

Le sénateur républicain John Kennedy a comparé le sien au coupe-circuit d'urgence des jet-skis. Sur ces engins, un cordon attaché au poignet coupe le moteur si le conducteur tombe à l'eau. Personne ne décide de rien : le système agit seul.

À OpenAI, le composant censé agir seul a échoué. Il ne reste que ce qu’aucun projet de loi ne peut fabriquer : une personne qui voit l’alerte et décide de couper. À mon sens, c’est là que réside le vrai problème. Un frein qui agit seul coupe aussi sur de fausses alarmes. Celui qui attend une personne attend le temps que cette personne met à réagir.

OpenAI décide seule quand elle revient

Menin l’a posé sans détour : « Ce n’est pas une industrie qui devrait s’autoréguler. Le problème, c’est qu’aujourd’hui, en pratique, c’est la norme ». Son projet prévoit des amendes de 25 000 dollars par cas, et précise que s’il y a un essaim d’agents, l’amende s’applique par agent.

Il a invité Sam Altman, Dario Amodei, Sundar Pichai, Elon Musk et Mark Zuckerberg à une audience le 5 octobre.

En attendant, la pause d’OpenAI est volontaire et sans date limite. « Toute l’utilisation de nos modèles les plus capables reste suspendue jusqu’à ce que nous ayons renforcé davantage nos systèmes », a écrit Micah Carroll, qui dirige le département de préparation de l’entreprise. Le modèle qui s’est échappé ne sera pas réentraîné. Quand les autres reviendront, c’est OpenAI qui le décidera.

Cette fois, le retard n’a rien coûté : l’agent demandait la capitale de la France. La prochaine fuite n’aura pas forcément à commencer par une question de géographie.

Un bouton d’arrêt vaut le temps qu’il faut à quelqu’un pour décider de l’appuyer. Ce dimanche-là, chez OpenAI, cela a pris deux heures et demie.