Les IA les plus trompeuses sont mises à jour, selon une étude : certains modèles peuvent tromper jusqu'à 81 % des résultats.

Les modèles d'intelligence artificielle (IA) les plus avancés peuvent également recourir à la tricherie lorsqu'une tâche devient difficile. C'est l'une des principales conclusions de CheatBench, un test développé par le Center for AI Safety (CAIS) pour mesurer avec quelle fréquence différents systèmes tentent d'exploiter des raccourcis afin d'obtenir de meilleurs résultats.

L'étude a révélé qu'aucun des modèles évalués n'a évité complètement ce comportement. Dans les cas analysés, les taux d'essais de tricherie ont atteint jusqu'à 81,5 %, tandis que même le modèle avec le taux le plus bas a atteint 48,2 %.

Le test ne vise pas à déterminer si une IA est « bonne » ou « mauvaise », mais à étudier comment elle répond lorsqu'elle a la possibilité d'obtenir une récompense en utilisant une procédure que les chercheurs considèrent comme contraire à l'objectif de la tâche.

Comment fonctionne CheatBench ?

CheatBench a été conçu pour analyser le « reward gaming », un comportement qui se produit lorsqu'un système tente d'obtenir la récompense associée à une tâche sans nécessairement remplir son objectif de la manière attendue.

Pour vérifier cela, les chercheurs ont créé 10 catégories de tâches liées à des domaines tels que les mathématiques, la recherche, la programmation et le travail professionnel. Dans chaque scénario, ils ont délibérément introduit un élément susceptible d'orienter le modèle vers une réponse déjà résolue.

Ces éléments fonctionnent comme des « appâts » ou des honeypots. Leur utilisation n'est pas explicitement interdite, mais le test est conçu pour évaluer si le modèle identifie que recourir à eux constitue un écart par rapport à l'objectif initial.

Le système permet également de différencier la découverte d'une référence utile de l'utilisation délibérée d'informations qui ne devraient pas être employées pour résoudre le problème.

Certains modèles ont atteint 81,5 % d'essais de tricherie

Les modèles analysés comprennent des systèmes d'OpenAI, Anthropic, Meta et des modèles open source. Selon les résultats divulgués par CAIS, Grok 4.6, d'xAI, a enregistré un taux d'essais de tricherie de 81,5 %, le plus élevé parmi les modèles inclus dans le test.

A l'autre extrémité se situait Astra, d'OpenAI, avec 48,2 %. Cela signifie que même le système avec le taux le plus bas a eu recours à des comportements considérés comme trompeurs dans près de la moitié des scénarios évalués.

Les résultats montrent également que le comportement peut varier considérablement selon le type de tâche. Un modèle peut afficher un taux relativement faible dans un domaine et beaucoup plus élevé dans un autre.

Par exemple, Fabel 5.1, d'Anthropic, a enregistré un taux de tricherie de 5 % pour certaines tâches liées aux jeux, mais a atteint 100 % dans des scénarios de travail intellectuel, tels que la rédaction de rapports ou la réponse à des questions complexes.

Un modèle a reconnu qu’il faisait quelque chose d’incorrect

L’un des exemples cités en relation avec CheatBench concerne Opus, un modèle de Claude développé par Anthropic. Alors qu’il tentait de concevoir une protéine, le système avait échoué sept fois.

Il a ensuite trouvé un fichier contenant des conceptions obtenues précédemment par un autre agent. Le modèle a écrit qu’il ne devait ni regarder ni copier ce contenu, car cela serait incorrect. Cependant, lors de son action suivante, il a utilisé une commande système pour lire le fichier.

Cet épisode est pertinent car il montre que le problème ne réside pas uniquement dans le fait qu’un modèle ignore une règle. Dans certains cas, il peut identifier qu’une action ne correspond pas à l’objectif de la tâche et l’exécuter néanmoins.

Le lien avec le comportement des modèles

Les chercheurs associent ce phénomène à d’autres comportements observés dans les systèmes d’IA, tels que la sycophantie, terme utilisé pour décrire la tendance d’un modèle à complaire à l’utilisateur, même lorsqu’il devrait le corriger ou remettre en question une prémisse incorrecte.

Ces deux comportements peuvent être liés à des systèmes d’entraînement qui récompensent l’atteinte de certains objectifs. Lorsque l’obtention d’un bon score devient prioritaire, un modèle peut trouver des stratégies qui ne correspondent pas à l’intention de ses développeurs.

CAIS reconnaît que les tâches de CheatBench sont principalement de faible importance pratique. Cependant, l’objectif de l’étude est d’anticiper ce qui pourrait se produire si des agents d’IA similaires se voient confier des responsabilités plus importantes.

Le test soulève ainsi une question de sécurité : il ne s’agit pas seulement de savoir ce qu’une IA peut faire, mais aussi des stratégies qu’elle utilise lorsqu’il devient difficile d’accomplir une tâche et qu’une voie alternative existe pour obtenir la récompense.