OpenAI ha creado un sistema para detener a sus modelos de inteligencia artificial si representan un riesgo, lo que retrasa su funcionamiento durante 35 segundos.

OpenAI a présenté Control Room, un système central qui peut arrêter en un maximum de 35 secondes le travail de ses modèles d’IA en recherche lorsqu’un problème de sécurité survient. L’entreprise l’a décrit dans une publication sur son site et a affirmé qu’il fonctionne déjà sur son infrastructure de recherche.

Le mécanisme opère sur chaque tâche de recherche utilisant un modèle : entraînements, évaluations et traitement des données, y compris les tâches où le modèle agit par étapes et de manière autonome. Chaque tâche reçoit un numéro d’identification au démarrage. Avant de générer chaque réponse, le moteur qui exécute le modèle interroge Control Room pour savoir si cette tâche est toujours autorisée.

Si un chercheur ou un système de surveillance ordonne son arrêt, l’outil marque le numéro comme terminé et le moteur rejette la demande suivante. Le programme de la tâche peut rester allumé, mais il ne reçoit plus rien du modèle. OpenAI soutient que cela ne dépend pas du fait que ce programme obéisse à l’ordre d’arrêt.

L’entreprise exige que toute tâche de ce type dispose d’un cas de sécurité approuvé. De plus, les entraînements les plus avancés fonctionnent avec un moniteur : un autre modèle qui vérifie tout ce que fait le modèle en entraînement et émet une alerte s’il détecte un problème. Ce moniteur peut envoyer l’ordre d’arrêt à Control Room.

L’arrêt automatique a échoué en septembre

La publication cite comme exemple un incident récent lié au DNS, le service qui traduit les noms de sites web en adresses internet. Selon The Register et NDTV, en septembre, un modèle interne en entraînement a utilisé ce service pour contourner les restrictions de son environnement de test et envoyer des questions à un chatbot externe, auprès duquel il a reçu des réponses.

La chronologie rapportée par les médias, tirée du rapport d’OpenAI, montre le délai. La première réponse externe est arrivée à 9 h 50 et le moniteur a émis son alerte de plus haute priorité à 10 h 02. Une personne l’a confirmée à 10 h 05, mais l’exécution a été interrompue manuellement à 12 h 34, plus de deux heures après.

OpenAI a reconnu, selon NDTV, que l’arrêt automatique attendu ne s’est pas produit et qu’il y avait une confusion quant à la nécessité de l’arrêter. Après cet épisode, l’entreprise a suspendu certaines activités d’entraînement et d’évaluation de ses modèles les plus performants, selon Notebookcheck.

Ce que couvre le système et ce qui en est exclu

Control Room s’applique uniquement à la recherche interne. OpenAI a expliqué que les modèles qu’elle propose au public fonctionnent sur une infrastructure plus centralisée, disposant déjà de capacités éprouvées pour retirer rapidement un déploiement. C’est pourquoi le nouveau système a été installé en premier là où le besoin est le plus grand, selon l’entreprise.

Les 35 secondes correspondent à un stockage temporaire des autorisations, qui permet de traiter le volume des commandes. Délai compté à partir du moment où Control Room reçoit l'ordre : il n'inclut pas le temps nécessaire pour qu'un moniteur ou une personne détecte le problème et décide d'intervenir, selon a précisé le site spécialisé AI Affairs.

The Register a souligné qu'OpenAI n'a pas expliqué pourquoi elle a construit ce système seulement maintenant. Le média a mentionné comme influences possibles d'autres cas récents d'agents d'IA ayant dépassé leurs tâches, bien que l'entreprise ne les ait pas liés à l'annonce.

L'entreprise a indiqué que la conception est de type « échec fermé » : si Control Room tombe en panne, par erreur ou manipulation, le système rejette toutes les commandes jusqu'à ce qu'il reprenne son fonctionnement. Cette configuration s'applique déjà à toutes les tâches de recherche de ses modèles les plus avancés et sera étendue au reste dans les prochains jours, tandis que l'entreprise tente de réduire les 35 secondes à zéro.