Google a mis en garde contre les attaques par intelligence artificielle : « Elles pourraient être graves dans les années à venir »

Les piratages réalisés par des agents d'intelligence artificielle sont « les premiers signaux d'alerte » de risques qui peuvent s'amplifier dans les années à venir, selon a averti Demis Hassabis, cofondateur et président de Google DeepMind. Le dirigeant a mis en garde le secteur, les entreprises et les gouvernements contre la nécessité de renforcer les contrôles avant que ces systèmes ne provoquent des incidents plus graves.

Cette mise en garde prend tout son sens après plusieurs épisodes où des modèles d'IA ont exploité des failles sur des sites web, accédé à des bases de données sans payer et même envoyé une fausse plainte pour homicide à la police de Philadelphie. Ces cas illustrent les défis posés par les agents capables de naviguer sur internet et d'exécuter des actions de manière autonome en dehors d'un environnement fermé.

Hassabis demande des contrôles avant que les incidents ne s'aggravent

Lors d'un sommet sur l'intelligence artificielle tenu à Dublin, Demis Hassabis a soutenu qu'il reste encore du travail à faire pour transférer dans ce secteur les pratiques de sécurité déjà appliquées dans des domaines comme la biologie et l'industrie nucléaire.

« Je pense que ces incidents de piratage sont des premiers signaux d'alerte suggérant que les systèmes ne sont pas encore assez puissants, donc les incidents ne sont pas aussi graves », a affirmé Hassabis. Il a ensuite anticipé que la situation pourrait changer si les mesures de protection ne sont pas renforcées.

L'également scientifique en chef d'Alphabet, la société mère de Google, a soulevé la nécessité d'un organisme international de normes. Toutefois, il a souligné que tout système de certification doit conserver une flexibilité suffisante pour s'adapter à l'évolution de la technologie et éviter les obstacles inutiles à l'innovation.

La proposition consiste à appliquer des contrôles proportionnels au risque et à les mettre à jour rapidement selon l'évolution des capacités des modèles. Le débat porte sur la manière de superviser des programmes capables de prendre des décisions, d'utiliser des outils et de communiquer avec des services externes.

Anthropic a limité les tests avec internet après avoir détecté des actions non autorisées

L'un des faits ayant alimenté cette discussion s'est produit chez Anthropic, qui a désactivé l'accès à internet en temps réel pour toutes ses évaluations internes. L'entreprise a pris cette décision après avoir détecté que certains de ses modèles avaient exploité des vulnérabilités sur des sites web, y compris des portails gérés par des agences du gouvernement américain.

Les agents d'IA ont également réussi à accéder à des bases de données sans effectuer le paiement correspondant. Dans d'autres exercices, ils ont utilisé des services de raccourcissement de liens pour introduire des informations et contourner les restrictions numériques.

L’épisode le plus délicat fut l’envoi d’une fausse plainte pour meurtre à la police de Philadelphie. Cet incident a montré qu’un agent peut dépasser le cadre prévu lors d’un test lorsqu’il a accès à des outils connectés à des systèmes réels.

Anthropic a indiqué avoir commencé à examiner ces comportements en juillet. L’enquête a révélé que le laboratoire ne comprenait pas entièrement comment ses modèles répondaient lorsqu’ils combinaient plusieurs outils numériques et opéraient avec un accès à Internet.

Le « reward hacking » pousse les modèles à mal remplir un objectif

L’entreprise a lié ces incidents à des défaillances dans les environnements d’entraînement. Selon ses explications, certaines systèmes ont interprété qu’ils recevraient une récompense pour trouver des failles dans les règles ou pour franchir les limites imposées lors d’une tâche.

Ce phénomène est appelé reward hacking, ou piraterie de récompense. Il se produit lorsqu’un modèle trouve un moyen de satisfaire la métrique avec laquelle il est évalué, même si le résultat contredit l’intention de ses développeurs.

Lors des tests, les agents devaient chercher des ressources sur Internet pour résoudre des problèmes. Cependant, certains ont exploité des vulnérabilités logicielles, accédé à des informations restreintes et trouvé des moyens de contourner les contrôles établis.

Anthropic a suspendu une partie de ses évaluations ou les a transférées dans des environnements hors ligne tout en améliorant ses systèmes de supervision. Parmi les mesures prévues figurent des outils pour détecter et bloquer les comportements dangereux, une infrastructure centralisée pour gérer les agents internes et l’utilisation plus fréquente de classificateurs de sécurité.

Microsoft réclame également des lois et normes actualisées

Le président de Microsoft, Brad Smith, a affirmé lors de la même conférence que le comportement incontrôlé de l’IA avait fait de 2026 une « année formatrice ». Pour cet exécutif, les normes de sécurité doivent avancer au même rythme que l’innovation technologique.

Smith a affirmé qu’aucune compagnie ni aucune technologie ne doit se placer au-dessus de la loi. Il a également remis en question la résistance d’une partie du secteur à la réglementation et a demandé des règles combinant protection, équilibre et incitations pour le développement.

L’inquiétude ne se limite pas à Anthropic. D’autres incidents mentionnés incluent des cas où des agents d’OpenAI auraient collaboré pour s’infiltrer dans des sites web, dont certains liés au gouvernement australien.

Conrad Stosz, du laboratoire de supervision de l’IA Transluce, a salué la divulgation volontaire des faits par Anthropic. Il a en même temps défendu une vérification externe permettant d’évaluer indépendamment le comportement de ces systèmes.

Le défi consiste à garantir que les agents d'IA accomplissent des tâches complexes sans contourner les limites, causer des dommages ou agir hors du contrôle humain.