"Malheureusement, les modèles les plus avancés ne sont pas fiables", Microsoft reconnaît le risque avec ses propres agents d'IA

Microsoft a annoncé de nouveaux outils de sécurité destinés à protéger les entreprises de leurs propres agents d'intelligence artificielle, car, selon l'entreprise, même ses modèles les plus avancés ne sont pas entièrement fiables.

La pièce maîtresse de cette annonce est Guardian Agents, un ensemble d'agents d'IA (programmes qui exécutent des tâches de manière autonome) conçus pour superviser chaque action des autres agents utilisés par une entreprise, avant qu'elle ne survienne et pendant les 24 heures de la journée.

« Malheureusement, les modèles les plus avancés, quelle que soit leur origine, ne peuvent pas être fiables », a écrit Hayete Gallot, vice-présidente exécutive de la sécurité chez Microsoft, dans le blog officiel de l'entreprise.

Gallot a précisé que cela ne s'explique pas par la malveillance des modèles, mais par le fait qu'ils cherchent à atteindre des objectifs sans respecter les normes ou le jugement d'une organisation, ce qui les rend imprévisibles. Selon elle, les agents peuvent s'adapter aux changements de contexte, agir de manière différente de celle attendue et même se coordonner entre eux pour atteindre un objectif, sans avoir été piratés.

Microsoft a qualifié ces systèmes d'« agents internes », par référence au concept de menace interne utilisé dans l'industrie de la sécurité informatique pour décrire un employé qui représente un risque depuis l'intérieur de l'organisation. L'entreprise a averti que beaucoup de ces agents disposent de permissions excessives et d'un accès à des données, des outils et des processus critiques des entreprises qui les embauchent.

Guardian Agents surveille les autres agents de Microsoft

Guardian Agents fait partie de Project Perception, la plateforme de cybersécurité présentée par Microsoft en juillet, qui organisait initialement trois types d'agents : l'un simulant des attaques de pirates, un autre détectant ces attaques et évaluant les vulnérabilités, et un troisième chargé de les corriger.

Ce système avait été conçu pour faire face aux menaces externes. Microsoft l'étend désormais vers l'intérieur : les nouveaux Guardian Agents agrègent les signaux d'identité, de données, de réseaux, d'appareils et du cloud pour calculer en temps réel le risque de chaque agent et ajuster automatiquement leurs permissions, y compris la possibilité de bloquer une action ou d'isoler complètement un agent si le risque le justifie.

L'entreprise a également ajouté à son produit de sécurité Defender une fonction capable de détecter jusqu'à 60 types d'agents que les employés apportent au travail sans autorisation, parmi lesquels Claude Code d'Anthropic, Codex d'OpenAI et OpenClaw.

Une mise en garde qui gêne les propres partenaires de Microsoft

Cette initiative est remarquable car Microsoft est investisseur dans OpenAI et Anthropic, l'un des plus grands clients du cloud d'OpenAI et développe également ses propres modèles d'intelligence artificielle. En avertissant qu'aucun modèle n'est fiable « quelle que soit son origine », l'entreprise sème le doute sur des produits dont elle dépend commercialement.

Le directeur exécutif de Microsoft, Satya Nadella, avait anticipé ce virage quelques semaines plus tôt sur son blog personnel, où il a écrit que les entreprises ne peuvent pas déléguer aux fournisseurs d'IA la responsabilité de contrôler ce que font leurs agents. « Les garanties d'un fournisseur de modèles ne nous libèrent pas de cette responsabilité (...) nous devons séparer celui qui fournit l'intelligence de celui qui en a l'autorité », a-t-il affirmé.

Nadella a résumé cette idée avec une phrase que Microsoft a utilisée pour présenter Guardian Agents : « Le système d'agents le plus fiable ne sera pas celui qui utilise le modèle en lequel nous avons le plus confiance. Ce sera celui conçu pour nous permettre de faire moins confiance au modèle ».

L'approche comporte également une composante commerciale évidente : Microsoft cherche à inciter les entreprises à acheter ses outils de surveillance des agents plutôt que de dépendre des contrôles offerts par OpenAI et Anthropic avec leurs propres produits.

L'idée s'étend au reste de l'industrie de l'IA

La méfiance envers les agents d'IA s'est déjà étendue à d'autres entreprises. Microsoft figure parmi les membres fondateurs de la nouvelle plateforme de sécurité de Nvidia pour les agents, soutenue par plus de 100 entreprises technologiques, qui isole les agents dans des environnements contrôlés et peut arrêter leur fonctionnement via le matériel lui-même, de manière similaire à un interrupteur d'urgence.