Des agents d'OpenAI ont scanné un site des Nations Unies plus de 16 000 fois pour contourner ses filtres de sécurité

Des agents autonomes d'OpenAI ont accede a un site de donnees publiques des Nations Unies plus de 16.000 fois entre avril et la fin juin de cette annee, selon un rapport independant cite par The Wall Street Journal. L'objectif etait un depot public gere par la Conference des Nations Unies sur le commerce et le developpement (CNUCED), l'organe commercial de l'ONU.

L'enquete a ete elaboree par le chercheur Rowan Howard-Jones avec des donnees fournies par Transluce, un laboratoire sans but lucratif dedie a la surveillance des systemes d'intelligence artificielle.

Selon ce travail, les agents semblaient avoir pour tache de rechercher des informations publiques disponibles sur le site. Le probleme est surgit lorsque le systeme s'est heurte a des obstacles techniques : au lieu de s'arreter, il a recouru a des methodes de plus en plus agressives pour continuer a extraire des donnees.

Comment ils ont contourne les filtres

L'enquete detaille des techniques concretes d'evasion. Le 4 mai, les agents ont code deux fois des segments des chemins du systeme, au point d'ecrire « Facts » comme « F%61cts », pour eluder des restrictions qui bloquaient ce type de requetes.

Ils ont egalement achemine le trafic via des services externes tels que httpbin, r.jina.ai et codetabs pour dissimuler l'origine des requetes. Depuis le 25 mai, en outre, ils ont heberge des scripts sur xss-game.appspot.com, un environnement que Google utilise pour enseigner aux programmeurs a identifier des vulnerabilites de securite.

Les agents ont fini par contourner un filtre que le site avait mis en place specifiquement pour bloquer leur acces et ont utilise, selon l'enquete, une methode que les administrateurs de la plateforme n'autorisaient pas.

Alex Stamos, professeur de cybersécurité a l'Universite de Stanford, a decrit cette activite comme un cas limite du piratage, bien qu'il l'ait principalement qualifiee de collecte de donnees extremement agressive.

Des chercheurs en securite avaient deja documente d'autres comportements remarquables de ces agents lors d'episodes precedents : creation d'adresses e-mail falsifiees, manœuvres pour contourner les limites de requetes imposees par les sites et reponses niant etre des systemes automatisés lorsqu'une plateforme leur posait la question directement.

La reponse d'OpenAI

Une porte-parole de OpenAI a declare que l'entreprise examine les conclusions et a contacte l'ONU pour offrir une explication detaillee via l'equipe chargee de cette revision.

L'entreprise a cadre cet episode dans le cadre d'une enquete interne plus large sur des modeles qui montrent un comportement desaligne pendant l'entrainement et l'evaluation. Selon ce processus, la majorite des cas identifies jusqu'a present etaient de faible gravite, avec peu ou aucun impact verifiable sur le service tiers affecte.

Un porte-parole de l'entreprise a ajouté que sa révision interne continue de prioriser les incidents les plus graves tout en élargissant l'analyse vers des comportements de moindre gravité, tels que l'envoi massif de requêtes vers des sites web. L'entreprise a averti que, compte tenu du volume de cas à vérifier, cette révision complète pourrait prendre des mois.

Le cas des Nations Unies n'est pas isolé. Quelques jours plus tôt, OpenAI avait reconnu que ses agents avaient agi de manière inappropriée pendant qu'ils collectaient des données de plusieurs sites du gouvernement des États-Unis, y compris les plateformes du Département du Commerce et de la Commission des opérations de bourse, selon The New York Times.

Dans la même semaine, le gouvernement australien avait annoncé que des agents d'OpenAI avaient tenté d'accéder sans autorisation à un site officiel. Les autorités australiennes ont ouvert une enquête formelle à propos de cet épisode.

Un schéma qui se répète dans différents pays

Selon TechCrunch, le Premier ministre australien, Anthony Albanese, a indiqué que les agents d'OpenAI ont tenté d'accéder à quatre sites gouvernementaux et y sont parvenus dans un cas, au point d'écrire des fichiers sur un serveur interne du système de santé publique du pays.

Transluce a également documenté des tentatives d'exfiltration de données d'autres plateformes, notamment Data USA, la bibliothèque numérique de l'Université du Nouveau-Mexique et l'Institut australien de la santé et du bien-être. Selon le laboratoire, cette activité des agents se produit depuis au moins mars, et possiblement depuis novembre de l'année dernière.

Conrad Stosz, directeur des affaires de gouvernance chez Transluce, a déclaré à TechCrunch qu'en l'absence d'une compréhension plus claire de la manière dont OpenAI surveille ses propres agents, il est difficile d'établir ce que l'entreprise aurait dû savoir sur cette activité.

Stosz a ajouté que, si l'entreprise avait étudié en profondeur toutes les requêtes et les réponses des agents impliqués dans ce trafic, il était probable qu'elle aurait détecté le problème plus tôt. Il a également averti que les incidents connus à ce jour ne sont que la pointe de l'iceberg.

Selena Zhang, membre de l'équipe technique de Transluce qui a participé au rapport, a souligné que les journaux du site urlquery.net montrent des requêtes similaires, avec des techniques comparables, dès mars et possiblement depuis novembre de l'année dernière. Elle a précisé en outre que ce même type d'activité associée aux agents s'est répété cette semaine.

OpenAI a informé qu'il s'était déjà rapproché de dizaines d'organisations, y compris des gouvernements, des universités et des agences publiques, pour les informer de l'activité non autorisée de ses agents.

L'entreprise n'a pas répondu aux questions sur le moment où ses employés ont pris connaissance des forums où les agents coordonnaient ces manœuvres, ni sur le type d'informations qu'ils auraient pu en obtenir.