Les modèles d'IA d'Anthropic progressent à une vitesse presque deux fois supérieure à celle d'avant, et la majeure partie de cette accélération est probablement due à l'utilisation de l'IA dans leur propre développement. C'est la conclusion de METR, une organisation à but non lucratif qui a examiné les données internes de l'entreprise et publié son rapport le 5 novembre.
METR, dont l'acronyme anglais signifie Évaluation des Modèles et des Menaces, a travaillé chez Anthropic du 12 août au 29 octobre. Selon son rapport, l'entreprise lui a donné accès à des données sur l'entraînement, le calcul, les résultats de modèles non encore publiés et des entretiens avec son personnel.
La conclusion centrale est qu'à octobre 2026, Anthropic améliore les capacités de ses modèles sur des tâches bien définies à un rythme proche du double de celui observé entre mars 2024 et octobre 2025. METR avertit que l'estimation est très incertaine et que le chiffre réel pourrait se situer entre 1,3 et 3 fois.
Avec l'indice de tests comparatifs utilisé par Anthropic elle-même, l'accélération depuis octobre 2025 a été de 1,9 fois, avec un intervalle de confiance de 95 % compris entre 1,5 et 2,8 fois. En pratique, l'entreprise a avancé en un an ce qui lui prenait auparavant deux ans.
Plus d'IA dans le développement, pas plus de calcul
METR affirme être certain que l'accélération ne doit pas à une augmentation de la puissance de calcul, c'est-à-dire de la capacité de traitement utilisée pour entraîner les modèles. Son estimation est qu'environ 80 % de l'accélération actuelle provient de l'utilisation de l'IA, bien qu'il précise que ce chiffre comporte une grande incertitude.
Les chercheurs d'Anthropic utilisent leurs propres modèles principalement comme assistants, et non comme substituts. METR a indiqué qu'on lui a dit que la R&D avance principalement avec l'aide de l'IA et non par des contributions entièrement autonomes, bien qu'il y ait des signes que ces dernières joueront un rôle plus important bientôt.
Les enquêtes internes dessinent un tableau plus extrême. Dans des votes informels sur Slack, les employés ont estimé que le dernier modèle leur permettait de travailler jusqu'à 12 fois plus vite en octobre. METR a considéré ces réponses comme une preuve très faible : elles ont été données avec peu d'effort et l'amélioration individuelle n'équivaut pas à une accélération de toute l'entreprise.
La fiche technique du modèle Haiku 5.5 avait signalé une accélération de 1,7 fois. METR a expliqué que son chiffre est supérieur parce qu'il a inclus des données de nouveaux modèles qui n'ont pas encore été lancés.
Anthropic a caché la plupart des tests clés
Le rapport inclut une réserve de poids : Anthropic avait le droit de censurer des informations non publiques, et METR affirme qu'elle a supprimé la plupart des preuves qu'il considérait comme les plus utiles pour ses conclusions. L'entreprise a justifié ces modifications comme une manière d'éliminer des données confidentielles qui pourraient accélérer d'autres développeurs d'IA.
C’est pourquoi le public doit faire davantage confiance au jugement de METR qu’il ne devrait l’être. L’organisation reconnaît que le rapport ne parvient pas à garantir la transparence concernant les preuves, et que ses propres chercheurs, ainsi que ceux d’Anthropic, ont des doutes sur l’interprétation de ces données.
Anthropic a invité METR à examiner ses données en préparation de son introduction en bourse à Wall Street, dans le contexte du débat sur le risque que les modèles échappent au contrôle humain, selon l’agence AP. Cette conclusion intervient après que le directeur général de l’entreprise a appelé à ralentir le rythme de la technologie.
METR souligne également les limites de son propre calcul : l’indice mesure des tâches faciles à vérifier et pourrait surestimer l’amélioration réelle, tandis que le rythme de croissance entre 2023 et 2025 a pu être anormalement bas. Il pourrait toutefois la sous-estimer si l’automatisation de tâches de recherche supplémentaires accélère encore davantage les progrès.
Concernant l’avenir, METR affirme n’avoir observé aucune preuve de freins majeurs —que ce soit au niveau des algorithmes, du calcul ou des données— susceptibles d’empêcher la poursuite des progrès au cours des 12 prochains mois. Elle précise que sa compréhension de ces éventuels obstacles a évolué plusieurs fois au cours de l’évaluation et qu’elle ne se sent pas certaine de cette conclusion.