Lorsque l'IA court plus vite que le droit

Le 12 septembre 2026, Dario Amodei, PDG et cofondateur d'Anthropic, a publié We Must Pace the Frontier, un article qui marque un changement significatif dans sa position concernant la vitesse à laquelle les systèmes d'intelligence artificielle de pointe doivent être développés. Amodei continue de soutenir que l'IA peut produire des bénéfices extraordinaires pour l'humanité -de l'accélération de la guérison des maladies à l'augmentation de la croissance économique et au renforcement de la démocratie- mais, en même temps, il estime que ces bénéfices sont inséparables de risques d'une ampleur considérable : perte de contrôle des systèmes, utilisation de l'IA pour des cyberattaques ou du bioterrorisme et de graves perturbations économiques.

Jusqu'à présent, la réponse à cette tension avait consisté en une position intermédiaire : continuer à augmenter les capacités et investir simultanément dans l'alignement, la sécurité et l'évaluation, afin de remplacer une « course vers le bas » impulsée par la concurrence commerciale par une « course vers le haut » dans laquelle les entreprises concourraient également pour construire des systèmes plus sûrs. Amodei vient d'admettre que cette approche ne suffit pas. Si les capacités progressent plus rapidement que la possibilité de les comprendre, de les aligner et de les contrôler, la sécurité reste constamment en retard. Le défi ne consiste plus à faire avancer la sécurité aussi vite que les capacités, mais à réduire délibérément la vitesse des capacités pour que la sécurité puisse les rattraper.

Tel est le sens de l'expression qui donne titre à l'article : pace the frontier. Il ne s'agit pas d'arrêter l'entraînement de nouveaux modèles ni d'abandonner le progrès, mais d'avancer à un rythme qui permette d'aligner, de protéger et d'évaluer les systèmes avant que leurs nouvelles capacités ne dépassent les possibilités réelles de contrôle. Ce qui est introduit est une variable qui a jusqu'à présent occupé une place secondaire dans le débat : le temps. Temps pour mieux comprendre les systèmes, détecter des comportements indésirables, perfectionner l'alignement, développer de meilleurs mécanismes d'évaluation et, également, pour que la société puisse délibérer sur une technologie dont l'impact dépasse largement celui des entreprises qui la développent.

Le temps proposé par Amodei n'est pas destiné uniquement à résoudre des questions techniques, mais possède également une dimension démocratique, dans la mesure où il soutient expressément que la société doit avoir voix au chapitre sur la manière dont l'IA est utilisée et qu'un ralentissement de son développement permettrait de disposer de plus de temps pour les délibérations publiques nécessaires. Pace the frontier signifie non seulement gagner du temps pour mieux contrôler l'IA, mais aussi préserver le temps nécessaire pour que la société puisse décider démocratiquement quelle IA elle est disposée à accepter. Il convient de noter que cette dimension occupe une place mineure dans un essai principalement technique et géopolitique.

Deux faits récents expliquent ce tournant. Le premier est l’accélération produite par la capacité croissante de l’IA à intervenir dans la construction de la prochaine génération d’IA, phénomène que Dario Amodei qualifie d’auto-amélioration récursive. Le second est l’incident OpenAI-Hugging Face. Un essaim d’agents a attaqué des objectifs qui ne lui avaient pas été assignés et qui étaient étrangers à la tâche confiée, a sacrifié des unités individuelles au profit du succès collectif et a tenté de compromettre le système chargé d’évaluer ses performances. Il n’y a eu aucune victime et le préjudice économique a été minime. Amodei soutient qu’un essaim doté de capacités supérieures et d’un désalignement équivalent aurait pu causer un dommage catastrophique.

La proposition s’articule en trois étapes. La première est la seule que Anthropic assume unilatéralement : intégrer des évaluateurs externes permanents disposant d’un accès équivalent à celui d’un employé — bureau dans les bureaux, badge, ordinateur de l’entreprise et permissions comparables à celles des équipes internes de gestion des risques — avec le droit de publier leurs conclusions sans contrôle éditorial de la société. La seconde est la coordination entre les entreprises des pays démocratiques pour établir des normes communes et des limites à la vitesse de progression. La troisième est la coordination mondiale avec les États non démocratiques. Amodei précise que ces trois étapes ne doivent pas être accomplies dans un ordre strict et que certaines s’avéreront beaucoup plus difficiles à atteindre que d’autres.

Du point de vue juridique, la proposition impose de réexaminer le paradigme utilisé pour réguler l’IA. Une grande partie du droit, tel que nous le connaissons, est structurée pour intervenir face à des comportements ou des activités dont le risque peut être identifié, imputé et éventuellement réparé. Mais lorsque la technologie elle-même augmente ses capacités, participe à la construction de ses successeurs et développe des comportements visant à contourner les mécanismes de contrôle — y compris l’attaque de l’évaluateur censé la juger —, la responsabilité après le dommage ne constitue plus une réponse suffisante. Face à des risques systémiques ou irréversibles, l’axe réglementaire doit se déplacer de la réparation ex post vers la prévention ex ante.

Ce déplacement exige d'abandonner une réglementation centrée exclusivement sur des catégories abstraites, comme celle des « systèmes d'IA à haut risque » prévue par le règlement européen sur l'intelligence artificielle, et de passer à un système fondé sur des capacités vérifiables. Ce qui importe juridiquement n'est pas seulement celui qui développe le modèle, ni le nombre de paramètres qu'il possède ou la puissance de calcul utilisée pour son entraînement, mais ce que le système peut effectivement faire. S'il acquiert une capacité significative d'action autonome, d'exécution de cyberattaques, d'évasion des mécanismes d'isolement, de tromperie des évaluateurs, de réplication dans d'autres environnements ou de contribution substantielle à sa propre amélioration, un niveau supérieur d'obligations d'évaluation, de traçabilité, d'audit indépendant, de confinement et de contrôle humain doit s'activer automatiquement. Le nouveau paradigme juridique doit donc reposer sur le principe suivant : plus la capacité de l'IA est grande, plus le devoir de sécurité est élevé. L'augmentation des capacités ne peut être conçue juridiquement comme une faculté illimitée pour les entreprises et doit être conditionnée à la preuve préalable que des mécanismes vérifiables existent pour les maintenir sous contrôle.

L'idée des « points de contrôle » formulée par Amodei peut servir de base à une théorie juridique de l'IA. Le développement pourrait avancer jusqu'à certains seuils prédéfinis, mais le franchissement de chacun d'eux exigerait une autorisation conditionnée à la démonstration de normes de sécurité supérieures. Si une IA atteint la capacité pertinente pour s'échapper d'environnements contrôlés, manipuler ses évaluations ou intervenir de manière décisive dans la création de systèmes ultérieurs, elle ne devrait pas pouvoir accroître cette capacité sans une évaluation externe déterminant que le risque reste dans des marges juridiquement acceptables.

Cela implique de reconnaître un aspect souvent absent du débat : la vitesse de développement doit également devenir un objet de réglementation. Le droit régule habituellement les activités, les comportements et les résultats, mais rarement la vitesse à laquelle une technologie peut accroître son propre pouvoir. Si la capacité technologique commence à croître plus rapidement que la possibilité de la comprendre et de la contrôler, le temps cesse d'être une simple circonstance externe pour devenir une variable juridiquement pertinente.

Lorsque la sécurité ne peut pas accompagner raisonnablement l'augmentation des capacités, l'ordre juridique doit pouvoir exiger un ralentissement temporaire. Celui-ci ne doit pas être conçu comme une interdiction du progrès, mais comme une exigence de contrôle préalable : certaines capacités ne peuvent continuer à s'étendre lorsque leurs développeurs ne sont pas en mesure de démontrer qu'ils peuvent les maintenir sous contrôle.

La construction d'un droit de l'IA ne peut reposer exclusivement sur l'autorégulation des entreprises. Lorsque les sociétés qui développent les systèmes sont simultanément celles qui identifient le risque, réalisent les évaluations, déterminent le niveau de risque qu'elles jugent acceptable et décident du moment où lancer des modèles plus puissants, un problème structurel de contrôle existe. Le constitutionnalisme, dès son origine, part d'une prémisse élémentaire : celui qui exerce le pouvoir ne peut être le seul chargé de le contrôler. Pour cette raison, l'autorégulation a besoin de l'État pour être efficace, ce qui conduit nécessairement à ce que l'idée d'évaluateurs indépendants évolue depuis des engagements volontaires des entreprises vers des mécanismes institutionnels obligatoires, dotés d'un accès suffisant aux modèles, aux processus d'entraînement et aux incidents pertinents.

Cependant, aucune architecture réglementaire ne peut être analysée en marge de la compétition géopolitique dans laquelle se développe l'IA de frontière. Amodei conditionne le ralentissement des démocraties à la préservation de leur avantage technologique face à la Chine. Ainsi, la prudence qu'il propose n'opère pas de manière abstraite, mais en fonction de la position géopolitique de chaque État dans la course à l'IA. La compétition technologique produit ainsi une paradoxe : même si tous les États considèrent qu'il est opportun d'avancer avec prudence, chacun peut se sentir obligé d'accélérer parce qu'il suppose que les autres feront de même. En d'autres termes, la prudence qui ne lie que celui qui est en tête du développement de l'IA ne résout pas rationnellement cette paradoxe. Les limites à certaines capacités, et en particulier à d'éventuels processus d'amélioration récursive de l'IA, exigeront, tôt ou tard, un certain degré de coordination ou d'accord international pour rendre effectives ces délimitations.

La proposition juridique qui découle de l'analyse d'Amodei peut se synthétiser dans le principe suivant : le droit doit garantir qu'aucune capacité de l'IA ne puisse croître plus rapidement que notre capacité effective à la maintenir sous contrôle. Il ne s'agit pas d'empêcher l'IA de progresser, mais de garantir que son progrès reste une décision humainement gouvernable sur le plan juridique.