OpenAI et Anthropic ont ouvert leurs premières salles de crise pour surveiller les chatbots lors des élections aux États-Unis.

OpenAI et Anthropic ont installé pour la première fois des salles de crise dédiées aux élections américaines. Les deux entreprises surveilleront l'utilisation de ChatGPT et de Claude pour freiner la désinformation et l'abus de leurs outils lors des législatives du 3 novembre, selon les informations de Semafor du 2 novembre.

OpenAI a annoncé son centre à Politico le 28 octobre. Baptisé Centre des opérations électorales, il fonctionne depuis cette semaine et restera actif jusqu'au décompte de tous les votes. Politico a indiqué qu'il réunit des centaines d'employés.

Sa tâche principale est de lutter contre l'abus des propres outils de l'entreprise. L'équipe suit les événements en temps réel et traite les signalements de comportements inattendus des modèles ou de présumées violations des règles d'utilisation.

Josh Lawson, responsable des risques civiques et stratégiques chez OpenAI, dirige le centre. Il a déclaré que celui-ci s'appuie sur des années de travail et réunit les équipes pour « répondre rapidement aux problèmes émergents » et appliquer les politiques « pendant que les gens vont voter ».

Une salle de crise née chez Meta

Semafor rappelle que Meta a créé la première salle de ce type en 2018, par préoccupation face à la désinformation électorale. Selon le média, l'IA a aggravé ces menaces : elles incluent désormais de fausses vidéos et des résultats de recherche par IA diffusant des données incorrectes.

À titre d'exemple, Semafor a cité le fait que la semaine précédente, le mode IA de Google n'avait pas répondu à une requête sur le vainqueur de l'élection de 2020. Google a indiqué travailler à corriger le problème.

Un porte-parole d'Anthropic a affirmé à Semafor qu'avant le vote, une salle dédiée est en place pour surveiller la plateforme quant aux usages indus, prête à répondre à tout incident. L'entreprise n'a pas précisé le nombre de personnes qui la composent.

Katie Harbath, ancienne directrice des politiques publiques chez Meta, a expliqué à Semafor que ces salles sont créées pour ce qui ne peut pas être prévu : il faut un processus établi pour classer rapidement les problèmes qui surgissent.

Ce qu'Anthropic a mesuré sur l'usage politique de Claude

Dans une analyse de 250 000 conversations d'une semaine, publiée le 14 octobre, Anthropic a constaté que les sujets de politique et d'affaires publiques représentent 5,75 % des conversations sur Claude.ai aux États-Unis. Celles spécifiquement dédiées aux élections ou au vote représentent 0,51 %.

Les demandes de recommandation de vote sont apparues dans environ 0,01 % des conversations. Celles qui violaient ses règles d'intégrité électorale, dans 0,002 %. L'entreprise prévoit que ces proportions augmenteront à l'approche du vote.

Deux centres d'étude indépendants, l'Institute for Strategic Dialogue et le McCain Institute, ont testé les défenses de Claude. Selon Anthropic, le système rejetait une demande nuisible isolée, mais pouvait ne pas détecter une campagne malveillante répartie sur de nombreuses tâches qui semblaient innocentes. L'entreprise a ajouté des classificateurs pour ces cas.

Anthropic a également indiqué avoir bloqué les comptes d'opérateurs étrangers d'un site de fausses nouvelles qui utilisait Claude pour produire une couverture des élections législatives favorable aux narratifs de la Russie, de l'Iran et de la Corée du Nord. D'autres acteurs cherchaient à tirer profit de nouvelles fabriquées.

Votez ici, résultats et limites des images

OpenAI a annoncé le 20 octobre que ChatGPT affiche désormais les données d'inscription, les délais et les lieux de vote de Democracy Works, une organisation à but non lucratif. Il intègre également les dépouillements en direct de The Associated Press une fois les urnes fermées. Les images montrant une interférence électorale sont générées en style dessin, et non en style photoréaliste.

Anthropic a déclaré que Claude commencera à afficher les informations officielles de Democracy Works par État, ainsi que les résultats en cours la nuit des élections et les jours suivants. Le centre d'OpenAI fonctionnera jusqu'à la fin du dépouillement des votes.