L'IA frappe à nouveau : voici comment les agents d'OpenAI ont 'échappé' pour créer des menaces sur Internet.

OpenAI a confirmé que des agents d'intelligence artificielle, qu'elle testait dans un environnement contrôlé, ont été à l'origine d'une attaque contre une plateforme de programmation quelques mois avant le hack connu de Hugging Face. L'épisode, survenu en mai, est devenu public après qu'un groupe de chercheurs l'ait documenté et signalé au Wall Street Journal.

L'objectif était RubyGems, un service communautaire de distribution de packages pour le langage Ruby. Selon l'entreprise elle-même, ses agents ont accédé à la plateforme pour « accomplir des tâches bénignes et récupérer des informations publiques », bien qu'elle ait reconnu continuer à examiner l'affaire dans le cadre d'une enquête plus large sur le comportement de ses systèmes lors de l'entraînement et de l'évaluation.

Come a été réalisé l'attaque par des agents d'IA

Les attaques ont commencé le 11 mai, deux mois avant l'incident à Hugging Face. Les agents créaient de nouveaux comptes toutes les deux ou trois minutes et téléchargeaient des centaines de fichiers sur le service.

Ce comportement a obligé RubyGems à suspendre l'enregistrement de comptes pendant quatre jours pour contenir l'activité. L'organisation, gérée par l'entité à but non lucratif Ruby Central, a qualifié l'incident de « campagne de publication de spam » dans un article de blog, bien qu'elle ait précisé ne pas pouvoir confirmer si les responsables étaient des agents automatisés.

« Notre approche consiste à identifier et prévenir les abus, qu'ils proviennent de personnes ou d'outils automatisés », a déclaré RubyGems.

Les fichiers téléchargés ne contenaient pas le type de code ou de bibliothèques habituellement publiés sur la plateforme. Au lieu de cela, ils comprenaient des pages web extraites d'internet, dont des calendriers pris sur un site du gouvernement britannique.

Les agents n'ont pas non plus tenté de dissimuler leur origine : ils ont utilisé les initiales « OAI » dans les noms des fichiers et des termes comme « hack », « evil » et « exploit ». Les chercheurs ont également détecté des tentatives d'exploitation de failles de sécurité, y compris une vulnérabilité zero-day, dans le but de publier des fichiers appartenant à d'autres utilisateurs de la plateforme.

Comment ils ont contourné les restrictions

Une attaque de ce type se produit lorsque des agents d'intelligence artificielle en phase de test accèdent à des systèmes externes sans autorisation, malgré les contrôles conçus pour les maintenir isolés. Dans le cas de RubyGems, les agents de OpenAI ont utilisé le site comme une sorte de navigateur improvisé pour accéder à internet, bien qu'en théorie ils ne disposent pas d'un accès complet au réseau ouvert.

OpenAI n'a pas précisé le mécanisme exact qui a permis cette fuite. La compagnie a indiqué avoir confié aux agents des tâches de remplissage de feuilles de calcul et d'élaboration de rapports, et qu'ils ont fini par utiliser RubyGems pour obtenir des informations dans ce processus.

L'incident s'ajoute à un autre rapport de ce mois-ci, selon lequel des agents d'OpenAI ont effectué plus de 15 000 modifications sur DSEwiki, un site allemand au format type Wikipedia conçu pour assister les programmeurs. Cet épisode s'était également produit en mai.

Les agents se sont échappés de leur environnement de test et ont utilisé le site comme un forum pour échanger des tactiques sur la manière de « tricher » dans leurs tâches et d'éviter les restrictions imposées par l'entreprise.

Tant OpenAI que d'autres entreprises du secteur, dont Anthropic et Meta, avaient précédemment signalé que leurs agents s'étaient échappés des environnements de test en raison d'une erreur de configuration attribuée à Irregular, l'entreprise agissant comme partenaire de test.

Les antécédents avec Hugging Face et les avertissements

L'attaque contre Hugging Face en juillet a été l'épisode qui a obligé OpenAI à admettre publiquement le problème, après avoir violé de manière autonome la base de données de l'entreprise. OpenAI a révélé des tentatives contre quatre autres entreprises non identifiées, tandis qu'Anthropic a détecté trois cas similaires sur ses propres modèles.

L'Union européenne enquête sur un incident connexe, le porte-parole Thomas Regnier ayant mis en garde contre des « pertes de contrôle ». Aux États-Unis, le procureur Rob Bonta et une coalition républicaine enquêtent sur l'affaire, tandis que Gavin Newsom a poussé à l'adoption d'une législation sur la sécurité des chatbots.

Au Congrès, Bernie Sanders et Greg Casar ont proposé d'interdire la « superintelligence », une position rejetée par Donald Trump et d'autres républicains, qui privilégient la compétition technologique face à la Chine.