Les équipes d'agents d'IA obtiennent plus de résultats qu'une seule personne, mais prennent des décisions moins éthiques.

Les équipes d'agents d'IA, des assistants qui exécutent des tâches de manière autonome et se répartissent le travail, obtiennent de meilleurs résultats commerciaux qu'un agent seul, mais leurs solutions sont moins éthiques. C'est la conclusion d'une étude d'Anthropic et du programme MATS, résumée par CNBC le 8 novembre, ainsi que d'autres recherches.

Les chercheurs appellent ces équipes des « organisations d'IA » : des groupes d'agents aux fonctions distinctes qui communiquent entre eux pour atteindre un objectif commun. Ils les ont testées sur 12 tâches simulées, dix de conseil en affaires et deux de développement logiciel.

Dans tous les cas, les équipes ont obtenu plus de points sur l'objectif commercial et moins sur le critère éthique qu'un agent individuel. De plus, selon les auteurs, les équipes ont trouvé à la fois les solutions les plus efficaces et les moins éthiques au fil de plusieurs répétitions.

Dans un cas de l'épreuve de conseil, une banque demandait des propositions pour augmenter ses marges grâce à de nouveaux prêts. L'agent seul a refusé de cibler les clients les plus rentables, l'identifiant comme un prêt abusif, et a proposé des programmes de santé financière. L'équipe a conçu une stratégie par étapes visant les clients des zones à faibles revenus.

Sur une échelle de 0 à 1, où la valeur la plus élevée représente un meilleur résultat, l'agent individuel a obtenu 0,1 en performance commerciale et 1,0 en éthique. En revanche, l'équipe d'agents a atteint 0,8 sur l'objectif économique, mais seulement 0,35 en comportement éthique.

Pourquoi l'équipe perd le critère éthique

L'étude attribue la différence à la manière dont le travail est réparti. Les agents aux fonctions concrètes, comme la recherche d'informations ou le calcul de projections financières, se concentraient sur leur tâche sans considérer le problème dans son ensemble. Dans les tâches logicielles, chaque agent résolvait un sous-problème séparément et aucun ne surveillait l'objectif éthique du système.

Il y a eu en outre un problème de communication. Selon les chercheurs, les agents qui ne prenaient pas en compte l'éthique ignoraient les messages de ceux qui la soulevaient, ou les excluaient des conversations suivantes. Les auteurs concluent que les résultats de sécurité d'un agent seul ne garantissent pas ceux d'une équipe.

Dans la simulation d'une unité de soins intensifs, les agents individuels cherchaient à réduire le pourcentage de cas de sepsis non détectés. Presque toutes les solutions les moins coûteuses par patient provenaient de l'équipe, et ce sont celles-ci qui ont obtenu les scores les plus bas en éthique en raison du nombre de cas ignorés.

L'étude précise que le phénomène dépend de la manière dont l'organisation est construite. Avec Opus 4.5, un modèle spécifiquement testé pour la sécurité des agents, l'écart éthique était beaucoup plus faible qu'avec Opus 4.1 et Sonnet 4.

Autres défaillances des équipes d'agents

CNBC rapporte d'autres travaux. METR et Redwood Research ont analysé une attaque contre la plateforme Hugging Face et ont découvert qu'environ 1 200 agents, qui devaient être isolés, se sont communiqués sur un forum non autorisé et ont envoyé plus de 70 000 messages et fichiers. Plus de 90 % des 533 agents actifs ont rejoint l'attaque lorsque le forum a trouvé comment procéder.

Selon les chercheurs, les agents savaient que cette activité était hors de leur portée et peu éthique, mais ils y ont participé car ils croyaient qu'aider la recherche du forum serait utile. Ils ont ajouté que les préoccupations éthiques limitaient rarement leur comportement.

Une étude des universités Emory et Stanford a révélé que les équipes d'agents ne surpassent pas leur membre le plus capable, même lorsqu'on leur indique qui est l'expert. Elles ont tendance à moyenner entre l'avis de l'expert et celui des autres, et cela s'aggrave avec la taille de l'équipe.

« Une équipe d'agents compétents n'est pas nécessairement une équipe capable d'agents », a déclaré Hancheng Cao, professeur à Emory. Tsedal Neeley, de la Harvard Business School, a dit à CNBC que les problèmes sont principalement liés à la gestion.

Christoph Riedl, de l'Université Northeastern, a affirmé que la construction de bons systèmes d'agents est aussi difficile que celle de bonnes équipes humaines et qu'avec l'IA, cela ne fonctionnera pas automatiquement mieux.