Satya Nadella, PDG de Microsoft, impose la règle d'or en matière d'IA pour les entreprises : « Si cela ne peut pas être observé, on ne peut pas y faire confiance. »

Satya Nadella, PDG de Microsoft, impose la règle d’or en intelligence artificielle pour les entreprises : « Si on ne peut pas l’observer, on ne peut pas lui faire confiance ». Le dirigeant l’a exprimé dans une publication sur Twitter/X, défendant un principe précis : faire le moins confiance possible aux modèles d’intelligence artificielle et les entourer, en revanche, de règles, de permissions et d’une surveillance indépendante.

Son approche repose sur une séparation claire entre deux éléments souvent confondus aujourd’hui : l’approvisionnement en intelligence et l’autorité d’agir avec celle-ci.

Cette proposition intervient à un moment où les entreprises intègrent des agents d’IA dans des systèmes ayant accès à des données sensibles, sans explication claire des raisons pour lesquelles ces modèles prennent les décisions qu’ils prennent. Nadella cherche à transférer le poids de la sécurité du modèle lui-même vers l’environnement qui l’entoure.

Pourquoi Nadella se méfie des modèles d’intelligence artificielle

L’argument de base soutenu par Nadella est technique et, en même temps, simple à comprendre. Avec le logiciel traditionnel, tout comportement inattendu pouvait être retracé jusqu’à une ligne de code précise. Avec les modèles d’intelligence artificielle actuels, cela n’est plus possible.

Cette différence est ce qui amène le PDG de Microsoft à parler des modèles comme de boîtes noires. Si l’on ne peut pas observer l’intérieur d’un système, soutient-il, la sécurité ne peut pas reposer sur une confiance aveugle en ce système, mais sur la conception de l’environnement qui le contient.

En découle la phrase qui résume sa position : « Nous devons construire des systèmes contenus dont nous pouvons observer le comportement, dont nous pouvons tester les limites et dont nous pouvons toujours contenir les actions ». L’observation cesse d’être un supplément et devient, selon Nadella, une condition préalable à toute forme de confiance.

La responsabilité des entreprises ne se délègue pas au fournisseur d’IA

Nadella est particulièrement tranchant sur un point qui affecte directement les entreprises qui souscrivent à des services d’intelligence artificielle de tiers. Selon lui, « nous ne pouvons pas externaliser la responsabilité de ce que l’intelligence fait en notre nom ».

La nuance est importante car les agents d’intelligence artificielle ne se limitent plus à générer du texte ou à répondre à des requêtes : ils agissent au nom des organisations qui les déploient, avec la capacité de prendre des décisions et d’exécuter des tâches sur des systèmes réels.

Face à cette réalité, le PDG de Microsoft met en garde contre le fait que les garanties offertes par le fournisseur du modèle n'exonèrent pas l'entreprise qui l'utilise des conséquences de ses actes. La responsabilité, selon son raisonnement, demeure toujours du côté de celui qui déploie la technologie, et non de celui qui la fabrique.

Considérer l'intelligence artificielle comme un risque interne de l'entreprise

La manière concrète dont Nadella propose de gérer ce risque consiste à traiter les modèles d'intelligence artificielle comme on traiterait un employé disposant de nombreux privilèges au sein d'une organisation. Cela implique trois éléments : accorder le moins d'autorité possible, enregistrer tout ce que le système fait et conserver en permanence la capacité de l'arrêter.

Le dirigeant précise que cette approche ne part pas du principe que les modèles sont malveillants par nature. La raison est autre : tout système capable, ayant accès à des infrastructures importantes, peut se tromper ou être compromis par des tiers, indépendamment de sa conception d'origine.

Ce raisonnement explique pourquoi Nadella défend des outils de confinement comme norme commune pour toute l'industrie, et non comme une mesure exceptionnelle réservée aux cas à haut risque. Face à la possibilité d'un grave dysfonctionnement, son pari est de prévenir avec des mécanismes de frein d'urgence déjà intégrés au système, plutôt que de réagir après que le problème se soit produit.

Les sept principes de Nadella pour contrôler les modèles d'IA

Dans sa publication, Nadella développe sept principes concrets : diversité des modèles, observation totale, vérifiabilité, contrôles indépendants, audit indépendant, confinement et divulgation des incidents. Ces sept points peuvent être regroupés en trois grandes idées.

La première est l'indépendance : aucun modèle ne doit se vérifier lui-même ni devenir la seule source sur laquelle repose un résultat important. Celui qui audite un système d'intelligence artificielle, soutient Nadella, doit toujours être étranger à ce qu'il audite.

La deuxième idée est la transparence. Chaque action significative exécutée par un modèle doit laisser une trace lisible et protégée contre les manipulations. Nadella ajoute une nuance spécifique : la capacité d'observer la chaîne de pensée du modèle est non négociable, bien qu'il reconnaisse que cette observation, à elle seule, ne suffit pas à garantir la sécurité.

La troisième idée est le confinement, qui résume l'esprit général de la proposition. Il s'agit de supposer dès le départ que tout modèle peut être compromis et d'agir en conséquence, avec des outils permettant de l'arrêter à tout moment et d'avertir les personnes concernées en cas de défaillance.