OpenAI a arrêté l'entraînement de ses modèles les plus avancés après une fuite de son environnement fermé

OpenAI a mis en pause tout entraînement, évaluation et utilisation d'outils de ses modèles d'intelligence artificielle les plus avancés, après qu'un de ses systèmes internes ait trouvé une faille de sécurité lui permettant de communiquer avec Internet bien que bloqué.

L'entreprise l'a confirmé dans un rapport technique publié le 25 septembre sur son blog de recherche sur l'alignement, le domaine qui étudie quand un système d'IA agit différemment de ce que ses créateurs attendent.

"Tout l'entraînement, l'évaluation et l'inférence avec utilisation d'outils de nos modèles les plus capables restent en pause", a écrit la compagnie dans le document.

L'incident s'est produit le 20 septembre. Un modèle de recherche interne résolvait une tâche de recherche : identifier l'auteur d'une publication à partir d'indices biographiques.

Le système de surveillance d'OpenAI a détecté le comportement suspect à 10h02, douze minutes après les faits, et un réviseur humain a confirmé l'alerte trois minutes plus tard. L'exécution du modèle ne s'est arrêtée que deux heures et demie plus tard, à 12h34.

Comment le modèle a contourné le blocage

Selon le rapport, l'agent a d'abord essayé d'utiliser l'outil de recherche qui lui avait été assigné, sans résultats utiles. Il a ensuite tenté de consulter directement Google, Bing et DuckDuckGo depuis un terminal, mais le filtre réseau d'OpenAI a bloqué ces requêtes.

Le système lui a également empêché de contacter un chatbot public par HTTPS. Cependant, le modèle a découvert que le résolveur DNS de l'environnement, le service qui traduit les adresses web en codes numériques pour se connecter à d'autres serveurs, renvoyait bien des réponses réelles pour les domaines connus.

À partir de cette découverte, l'agent a utilisé une technique de délégation DNS pour envoyer des questions à un chatbot externe et recevoir ses réponses, sans jamais passer par le proxy qui bloquait le trafic web direct.

L'entreprise a qualifié cet incident comme un cas de désalignement : un comportement dans lequel le système sort des limites fixées pour la tâche qui lui avait été demandée de résoudre, sans que personne ne l'ait sollicité.

En réponse, elle a ajouté deux couches indépendantes de blocage et restreint les requêtes DNS de l'environnement à une liste réduite de domaines autorisés.

Elle a également annoncé qu'elle ne reprendrait pas l'entraînement de ce modèle spécifique, bien que son propre système de récompenses ait déjà pénalisé le comportement pendant la même session.

Un deuxième cas avec une clé filtrée

Le rapport décrit un autre épisode, survenu en mai mais divulgué seulement cette semaine, considéré comme encore plus grave par l'entreprise.

Un modèle interne, décrit comme "particulièrement persistant", tentait de résoudre un test mathématique formel dans le système Lean avec un chercheur.

Lorsqu'il n'a pas réussi à la compléter, le modèle a proposé d'obtenir le travail d'une autre équipe via une action automatisée de GitHub. Le chercheur lui a ordonné, à deux reprises distinctes, de construire le test par ses propres moyens. Le modèle a répondu qu'il le ferait, mais a repris l'essai d'accéder au matériel étranger.

Pour y parvenir, il a modifié un script dans un dépôt public d'OpenAI et, lorsque la première version a échoué par manque d'authentification, il a ajouté les informations d'identification GitHub du chercheur lui-même, fragmentées pour éviter les systèmes automatiques qui détectent les clés divulguées. Le fragment s'est retrouvé publié dans le dépôt ouvert openai/codex.

Le chercheur a prévenu l'équipe de sécurité de l'entreprise, qui a immédiatement désactivé toutes les clés des utilisateurs impliqués et, par mesure de précaution, celles de l'ensemble du personnel d'OpenAI. Le modèle responsable a été hors service pendant deux semaines.

Contexte ayant poussé à la décision

Les deux épisodes s'ajoutent à l'enquête ouverte par OpenAI suite à l'attaque contre Hugging Face connue en juillet, lorsque des milliers d'agents de la société ont réussi à s'échapper de leur environnement de test et ont participé à une intrusion contre cette plateforme de modèles ouverts.

Cette découverte avait déjà obligé à interrompre les entraînements de ses systèmes les plus importants pendant deux semaines