Ils préviennent qu'ils créent une IA capable de surpasser les humains : voici l'histoire

L'un des anciens employés d'OpenA à avoir élevé la voix était Carroll Wainwright, qui, après sa démission de l'équipe d'alignement de l'entreprise, avec d'autres employés, a signé une lettre dénonçant ce problème, exprimant son inquiétude quant à la manière dont le développement de cette technologie est potentiellement géré. puissant.

Wainwright faisait partie de l'équipe de superalignement d'OpenAI, dont la mission est de garantir que les modèles d'IA développés par l'entreprise sont sûrs et se comportent conformément aux valeurs humaines.

Cette équipe a acquis une importance particulière après le lancement de ChatGPT , un chatbot qui a dépassé toutes les attentes en termes de performances.

Mais avec la création de modèles de plus en plus avancés, l’équipe a été confrontée au défi de trouver des moyens techniques pour garder le contrôle sur ces technologies émergentes . Dans la lettre, Wainwright et d'autres employés ont identifié trois risques critiques associés à l'IAG.

• La première est le remplacement des emplois qualifiés, comme les avocats, les médecins et les journalistes, par des systèmes automatisés.
• Le deuxième risque est l’impact social et mental d’un recours accru aux assistants personnels IA, qui pourrait modifier la dynamique des relations humaines et du bien-être psychologique.
• Le dernier risque concerne le contrôle et l'alignement de la technologie elle-même : un modèle intelligent qui surpasse les humains en termes de capacités cognitives soulève de graves problèmes d'alignement, c'est-à-dire comment garantir que l'IAG agit selon les désirs humains au lieu de suivre ses propres objectifs.

Bien que cette technologie n’ait pas encore été créée, les prévisions concernant son arrivée varient. Des personnalités influentes comme Elon Musk estiment qu'il pourrait être développé dans environ deux ans, tandis que d'autres experts, comme Robin Li de Baidu, suggèrent que sa création pourrait prendre jusqu'à une décennie.

De son côté, Wainwright, s'alignant sur une position intermédiaire, estime que l'IAG pourrait être une réalité d'ici environ cinq ans. Cependant, il souligne avec force qu’il est vital d’aborder cette possibilité avec le plus grand sérieux, compte tenu de son potentiel de transformation radicale du monde.

Dans la lettre, les travailleurs actuels et anciens ont précisé que leur avertissement n'était pas dû à des résultats alarmants spécifiques, mais plutôt à un changement significatif dans l'orientation d'OpenAI, qui est passé d'un laboratoire de recherche à but non lucratif à une entité commerciale.

Ce changement, a expliqué Wainwright, a réorienté les incitations de l'entreprise vers la réalisation de bénéfices, en donnant la priorité au succès commercial de produits comme ChatGPT, lancés il y a deux ans, plutôt qu'à la recherche fondamentale.

Concernant la réglementation, Wainwright espère que les grandes entreprises du secteur, comme Google et OpenAI, se conformeront à la réglementation en vigueur. Elle prévient toutefois qu'une concurrence brutale dans le secteur pourrait mettre en péril ces normes de sécurité.

Dans cette optique, lui et d'autres salariés plaident pour la création d'un système permettant aux organismes indépendants d'être plus facilement alertés des dangers identifiés au sein de leur entreprise.

De même, les préoccupations concernant la réglementation de l’IA ne sont pas exclusives aux États-Unis. En mars, le Parlement européen a ratifié la première loi de l'Union européenne (UE) sur l'intelligence artificielle, qui entrera en vigueur en 2026.

En outre, les régulateurs américains ont lancé des enquêtes antitrust contre des entreprises clés du secteur, telles que Microsoft, OpenAI et Nvidia, en se concentrant sur leur influence croissante.