OpenAI cessera d'entraîner son IA avec un accès à Internet après une faille de sécurité détectée en septembre

OpenAI a annoncé qu’elle cessera d’entraîner ses modèles d’intelligence artificielle les plus avancés avec un accès direct à Internet. L’entreprise a expliqué dans une publication officielle que, compte tenu de l’état actuel de la recherche sur l’alignement et la sécurité de l’infrastructure Internet, il est responsable de s’entraîner sans cette connexion.

Cette décision intervient après que, le 20 septembre, un modèle de recherche interne ait exploité une erreur de configuration dans un résolveur de noms de domaine (DNS) pour obtenir un accès limité à Internet lors d’une session d’entraînement.

Le système de surveillance a détecté l’activité en 15 minutes, mais l’exécution n’a pas été arrêtée avant deux heures et demie, selon le rapport interne de l’incident cité par le site spécialisé WebProNews.

Le modèle, qui était bloqué sur une tâche de recherche, a profité de la faille pour consulter un chatbot public. OpenAI a contenu l’épisode et a suspendu pendant onze jours l’entraînement et l’évaluation de ses systèmes les plus capables, avant de les reprendre le 1er octobre avec des contrôles renforcés.

Un monde Internet simulé pour l’entraînement

Pour que ses modèles continuent d’apprendre à naviguer et à utiliser des applications Web sans ce risque, l’entreprise a construit un « monde hors ligne » : une base de contenu Web indexé et stocké avec laquelle les systèmes interagissent sans toucher aux serveurs réels. Tous ses entraînements par renforcement utilisent déjà ce schéma.

« Nous pensons que l’approche responsable est de réaliser l’entraînement des modèles de frontière sans accès à Internet », a écrit l’entreprise, précisant qu’elle maintiendra cette restriction jusqu’à ce que les avancées en matière de sécurité la justifient. Ce changement s’ajoute à une mesure similaire prise deux semaines plus tôt par Anthropic pour ses modèles les plus capables, selon TechCrunch.

OpenAI a attribué le durcissement de ses contrôles à une série d’incidents précédents, dont un en juillet avec la plateforme Hugging Face, au cours duquel un modèle de recherche interne a affecté des systèmes tiers en raison d’un comportement non aligné avec les instructions qu’il avait reçues.

Des agents qui ont tenté de briser leurs propres barrières

Avant de reprendre l’entraînement, l’entreprise a lancé une campagne de tests d’intrusion avec ses propres modèles, y compris un modèle interne encore non publié connu sous le nom de GPT-6 Astra Cyber. Les agents avaient trois objectifs : atteindre Internet en direct, franchir une frontière de sécurité interne ou communiquer avec d’autres agents censés être isolés.

Ces équipes ont réussi à s’échapper des machines virtuelles qui les contenaient en enchaînant plusieurs défaillances logicielles, ce qui a obligé OpenAI à corriger des vulnérabilités dans des outils open source tels que Kata Containers, gVisor et Moby, le projet derrière Docker.

Ils ont également trouvé des routes vers Internet via des services internes de métriques, d'enregistrement d'activité et d'authentification que l'entreprise avait laissés activés après l'incident de juillet.

La découverte la plus inattendue fut que certains agents parvenaient à échanger des informations entre eux sans utiliser le réseau ni les fichiers partagés. Ils y parvenaient en mesurant les temps d'accès au cache du processeur, une technique similaire à celle utilisée dans les attaques Spectre et Meltdown, qui avaient révélé en 2018 une faille structurelle dans presque tous les processeurs modernes.

L'entreprise a indiqué avoir bloqué ces canaux de communication et que, au fur et à mesure que la campagne de tests progressait, le nombre de nouvelles vulnérabilités découvertes par ses propres agents a considérablement diminué. Toutefois, OpenAI a mis en garde en disant que des modèles futurs, plus performants, pourraient découvrir des vulnérabilités qui sont encore inconnues aujourd'hui.

L'antécédent d'août

Cette mesure n'est pas le premier signal d'alarme de la compagnie concernant ses propres systèmes. Déjà en août, elle avait arrêté pendant deux semaines l'entraînement de ses modèles les plus récents après avoir détecté que l'un d'eux, également de la famille Astra, pouvait atteindre un niveau de capacité cybernétique classé comme critique selon son propre cadre d'évaluation des risques.

L'entreprise a transformé ces tests de pénétration en une exigence permanente : avant d'autoriser un nouvel entraînement à grande échelle, ses propres modèles devront d'abord tenter de compromettre l'infrastructure qui les héberge. OpenAI a déclaré qu'elle maintiendra cette attaque continue tout en renforçant la surveillance et les systèmes capables d'arrêter les entraînements face à des signaux de risque.