OpenAI a annoncé la mise en œuvre de nouvelles stratégies pour prévenir les abus de l'intelligence artificielle

OpenAI , la société d'intelligence artificielle derrière ChatGPT , a présenté ses plans pour anticiper ce qu'elle pense être de graves dangers liés à la technologie qu'elle développe, comme permettre à de mauvais acteurs d'apprendre à fabriquer des armes chimiques et biologiques .

L'équipe « Readiness » d' OpenAI , dirigée par Aleksander Madry , professeur d'IA au MIT , embauchera des chercheurs en IA, des informaticiens , des experts en sécurité nationale et des professionnels des politiques pour surveiller sa technologie et la tester en permanence et avertir l'entreprise si elle croit l'un de ses Les capacités de l’IA deviennent dangereuses.

L'équipe se situe entre le groupe « Systèmes de sécurité » d' OpenAI , qui travaille sur des problèmes existants tels que l' infusion de préjugés racistes dans l'IA, et l'équipe « Superalignment » de l'entreprise, qui étudie comment garantir que l'IA ne nuit pas aux humains d'une manière imaginaire. un avenir où la technologie a complètement dépassé l’intelligence humaine .

La popularité de ChatGPT et les progrès de la technologie de l’IA générative ont déclenché un débat au sein de la communauté technologique sur la dangerosité de cette technologie. Plus tôt cette année, d’éminents dirigeants d’ OpenAI , Google et Microsoft ont averti que cette technologie pourrait constituer un danger existentiel pour l’humanité, au même niveau que les pandémies ou les armes nucléaires.

D’autres chercheurs en IA ont déclaré que se concentrer sur ces risques importants et effrayants permettait aux entreprises de détourner l’attention des effets néfastes que la technologie a déjà.

Un groupe croissant de dirigeants d’entreprises d’IA affirment que les risques sont surestimés et que les entreprises devraient poursuivre le développement de la technologie pour contribuer à améliorer la société – et gagner de l’argent en le faisant.

OpenAI a introduit un terrain d'entente dans ce débat dans sa position publique . Son PDG, Sam Altman , estime qu'il existe de sérieux risques à long terme inhérents à la technologie, mais que nous devons également nous concentrer sur la résolution des problèmes actuels . Selon Altman , la réglementation visant à prévenir les effets néfastes de l'IA ne devrait pas rendre plus difficile la concurrence pour les petites entreprises . Dans le même temps, cela a poussé l’entreprise à commercialiser sa technologie et à lever des fonds pour accélérer sa croissance.

Madry , un chercheur chevronné en IA qui dirige le Center for Deployable Machine Learning du MIT et codirige le MIT AI Policy Forum , a rejoint OpenAI plus tôt cette année. Il faisait partie d'un petit groupe de dirigeants d'OpenAI qui ont démissionné lorsqu'Altman a été licencié par le conseil d'administration de l'entreprise en novembre. Madry est revenu dans l'entreprise lorsqu'Altman a été réintégré cinq jours plus tard.

OpenAI , qui est régi par un conseil d'administration à but non lucratif dont la mission est de faire progresser l'IA et de la rendre utile à tous les humains, est en train de sélectionner de nouveaux membres du conseil d'administration après la démission de trois des quatre conseillers qui ont licencié Altman dans le cadre de son retour.

Malgré les « turbulences » au sein de la direction, Madry estime que le conseil d'administration d'OpenAI prend au sérieux les risques liés à l'IA qu'il étudie. « J'ai réalisé que si je veux vraiment façonner l'impact de l'IA sur la société, pourquoi ne pas m'adresser à une entreprise qui le fait réellement ?

L'équipe de préparation recrute des experts en sécurité nationale extérieurs au monde de l'IA qui peuvent aider l'entreprise à comprendre comment faire face aux risques majeurs . OpenAI entame des discussions avec des organisations telles que la National Nuclear Security Administration , qui supervise la technologie nucléaire aux États-Unis , pour garantir que l'entreprise puisse étudier de manière adéquate les risques de l'IA, a déclaré Madry .

L'équipe surveillera comment et quand son IA peut ordonner aux gens de pirater des ordinateurs ou de fabriquer des armes chimiques, biologiques et nucléaires dangereuses , au-delà de ce que les gens peuvent trouver sur Internet grâce à des recherches régulières . Madry recherche des gens qui « pensent vraiment : « Comment puis-je jouer avec cet ensemble de règles ? Comment puis-je être plus ingénieux dans mon mal ? " ".

La société permettra également à des « tiers qualifiés et indépendants » extérieurs à OpenAI de tester sa technologie, indique-t-elle dans un article de blog publié lundi. Madry a déclaré qu'il n'était pas d'accord avec le débat entre les « catastrophistes » de l'IA, qui craignent que la technologie ait déjà atteint la capacité de surpasser l'intelligence humaine, et les « accélérateurs », qui veulent supprimer tous les obstacles au développement de l'IA .

« À mon avis, ce cadre d'accélération et de décélération est extrêmement simpliste. « L’IA présente de nombreux avantages, mais nous devons également veiller à ce que les avantages soient concrétisés et que les inconvénients ne le soient pas. »

(c) 2023, Le Washington Post