Anthropic utilisera les mathématiques pour vérifier quel modèle d'IA est utilisé par un utilisateur : en créant une empreinte numérique

Anthropic développe un système qui permet de vérifier, par une preuve mathématique, quel modèle d'intelligence artificielle a réellement généré une réponse. Il s'appelle FlashProve et vise à résoudre un problème qui n'avait jusqu'alors pas de solution : lorsqu'on pose une question à une IA, il n'existe aucun moyen de vérifier si la réponse provient du modèle choisi ou d'un autre.

Le projet a été présenté via une publication technique de l'entreprise, qui a mis le code, un rapport détaillé et des preuves formelles sous licence open source. Selon leurs propres chercheurs, il s'agit d'une « avancée intermédiaire » et non d'un outil terminé ni prêt pour la production.

Quel problème Anthropic cherche à résoudre

Lorsqu'un utilisateur envoie une requête à un modèle d'IA, il n'a actuellement aucun moyen de confirmer que la réponse provient du modèle sélectionné. Elle peut avoir été remplacée par un modèle moins coûteux pour réduire les dépenses, par un modèle plus puissant pour gonfler les résultats ou même manipulée par un attaquant.

FlashProve est un système qui génère une preuve cryptographique vérifiable pour confirmer quel modèle d'intelligence artificielle a produit une réponse spécifique, sans révéler les données internes de ce modèle. Il fonctionne de manière similaire à une signature numérique : il permet de confirmer l'origine d'un message sans exposer les informations confidentielles de l'expéditeur.

Anthropic identifie plusieurs scénarios où cette vérification est nécessaire. Les évaluateurs indépendants qui testent les modèles d'IA avant et après leur lancement doivent s'assurer qu'ils analysent le même système qui sera ensuite mis à disposition du public.

De même, les clients qui souscrivent à un modèle via un service intermédiaire tiers souhaitent confirmer qu'ils reçoivent bien les réponses du modèle pour lequel ils ont payé, et non d'une version moins chère substituée sans préavis.

Un troisième cas concerne la détection de manipulations externes : si un attaquant compromet un serveur et altère les réponses en se faisant passer pour un modèle légitime, un utilisateur n'aurait aucun moyen de s'en rendre compte en analysant uniquement le résultat final.

Fonctionnement interne du système

La base technique de FlashProve est un objet cryptographique connu sous le nom d'« argument succinct de connaissance zéro » (zkSNARK). En termes simples, il permet à une partie de démontrer à une autre qu'un calcul donné a été effectué, sans révéler les détails internes de ce calcul.

Le processus comporte deux étapes. Tout d'abord, le fournisseur du modèle publie une sorte d'« empreinte digitale » ou fingerprint de ses poids (les valeurs internes qui définissent le comportement du système). Cette empreinte ne révèle pas les poids réels, que des entreprises comme Anthropic et OpenAI gardent secrètes car elles constituent leur actif le plus précieux.

Ensuite, chaque fois que le modèle répond à une requête, le fournisseur joint une preuve courte certifiant que cette réponse spécifique a été générée par le modèle associé à l’empreinte publiée. L’utilisateur peut vérifier cette preuve en quelques secondes, même depuis un appareil commun, sans avoir besoin d’accéder à une infrastructure spécialisée.

Cette preuve remplit quatre conditions selon la conception du système : elle est acceptée si elle est honnête, elle ne peut pas être falsifiée, elle ne révèle aucune information au-delà de ce qu’elle certifie et elle est légère à vérifier par rapport au calcul d’origine qui la soutient.

À quoi peut-elle servir au-delà des utilisateurs finaux

Anthropic évoque des applications qui dépassent la relation directe entre une personne et un chatbot. Un développeur pourrait démontrer que son code a effectivement été examiné par un modèle avancé de cybersécurité, ou une entreprise pourrait certifier que son plan d’affaires a reçu l’approbation d’un système d’IA déterminé.

Le système pourrait également servir d’entrée pour les régulateurs et les auditeurs qui doivent confirmer qu’une entreprise d’IA respecte des engagements spécifiques, tels que l’allocation d’une certaine capacité de calcul à des tâches d’inférence plutôt que son utilisation dissimulée pour entraîner de nouveaux modèles.