Microsoft ne pourra pas utiliser les données des étudiants pour entraîner son intelligence artificielle

Microsoft ne pourra pas utiliser les données des étudiants et des éducateurs pour entraîner ses systèmes d'intelligence artificielle, selon un accord avec la Fédération américaine des enseignants (AFT, en anglais), a rapporté The Associated Press.

L'engagement interdit à l'entreprise de vendre les données, de les destiner à la publicité ou de les utiliser pour développer des produits. Les conditions s'appliqueront à partir du 1er novembre pour les écoles disposant de contrats en vigueur avec Microsoft.

Cette décision coïncide avec la suspension d'un an de l'utilisation de ces outils par les étudiants dans les systèmes scolaires de New York et de Los Angeles.

Les deux districts examineront leurs contrats et leurs ressources technologiques avant d'étendre leur utilisation : la mesure concerne le primaire et le secondaire à New York, ainsi que l'enseignement secondaire à Los Angeles.

L'accord avec l'AFT et ses normes de confidentialité

L'accord entre Microsoft et l'AFT, le deuxième plus grand syndicat d'enseignants des États-Unis, établit des normes de confidentialité et de sécurité pour les outils d'intelligence artificielle proposés par la société aux écoles.

La seule exception à l'interdiction d'utiliser les données pour entraîner les systèmes concerne les informations pouvant contribuer à la protection des élèves.

L'accord exige également des audits par des tiers et que l'entreprise explique aux familles, en langage clair, le fonctionnement de ses outils.

« Cette norme établit un niveau élevé pour la confidentialité des enfants et la sécurité de l'intelligence artificielle », a déclaré Brad Smith, vice-président et président de Microsoft, à The Associated Press.

Limites aux fonctions d'intelligence artificielle

Le document interdit les compagnons virtuels et les fonctions conçues pour générer un attachement émotionnel ou une dépendance.

Il empêche également les produits de chercher à prolonger l'interaction des étudiants au-delà du temps nécessaire pour une activité éducative.

Cette mesure répond aux inquiétudes concernant la destination des données personnelles que les élèves transmettent aux chatbots lorsqu'ils demandent de l'aide pour les devoirs, un soutien émotionnel ou des conseils.

Des millions d'étudiants utilisent des assistants d'intelligence artificielle sans savoir comment les entreprises stockent, exploitent ou partagent leurs conversations.

Vide juridique en l'absence de législation spécifique

Les écoles dépendent de plus en plus de programmes numériques, mais les spécialistes s'interrogent sur la suffisance des garanties en matière de confidentialité, de transparence et de protection de l'enfance.

La présidente de l'AFT, Randi Weingarten, a qualifié cet accord de premier du genre et a soutenu qu'il pourrait devenir une référence pour le secteur, face à l'absence de législation fédérale et étatique dédiée à l'intelligence artificielle dans les écoles.

« Nous voulons que les parents aient le contrôle sur l’éducation de leurs enfants », a déclaré Weingarten à l’agence. La dirigeante a ajouté que les enseignants doivent également conserver cette capacité de décision, plutôt que de la confier à la technologie éducative.

Weingarten et Smith ont présenté l’initiative au siège de la Fédération unie des enseignants, section new-yorkaise de l’AFT. S’y trouve l’Académie nationale d’instruction sur l’intelligence artificielle pour les enseignants, qui a commencé ses activités il y a un an.

Formation des enseignants et doutes sur l’usage en classe

Le programme a reçu 23 millions de dollars de Microsoft, OpenAI et Anthropic. Le centre forme les enseignants à l’utilisation de ces outils, tandis que des doutes persistent quant à leur application auprès des élèves.

Josh Golin, directeur exécutif de Fairplay, une organisation de sécurité en ligne, a estimé que les mesures incluses dans l’accord ont de la valeur.

Néanmoins, il a averti que leur portée dépendra de ce que d’autres entreprises, en particulier les grandes sociétés technologiques, assument des obligations similaires.

Golin a déclaré à l’agence que le cadre peut induire en erreur si les écoles interprètent les protections de la vie privée comme une recommandation d’intégrer l’intelligence artificielle en classe.

Pour l’expert, il reste à déterminer si ces produits devraient être présents dans les écoles et à partir de quel âge.

Google n’a pas confirmé s’il adoptera les mêmes conditions

L’AFT a également contacté Google avant d’annoncer l’accord, avec l’espoir qu’il s’y associe. L’entreprise n’a pas répondu à une demande de l’agence concernant la possibilité d’adopter des protections équivalentes.

Google est le principal fournisseur de technologie éducative pour les écoles américaines. Ses services sont largement utilisés au sein du système scolaire et concentrent une part importante des outils numériques utilisés par les enseignants et les élèves.

L’entreprise s’est retrouvée au centre des critiques en août, lorsqu’elle a activé son chatbot Gemini pour de nombreux élèves du primaire et du secondaire utilisant Google Classroom. Jusqu’alors, l’accès à Gemini était limité aux élèves de 18 ans ou plus.

Google a indiqué que ce changement ne concerne que les écoles qui autorisent l’accès des étudiants à l’application Gemini ou à Gemini Notebook.

Le système Google Classroom est utilisé par 150 millions d’enseignants et d’étudiants dans le monde entier, selon l’entreprise.

Cette ampleur a amplifié le débat sur les obligations que les entreprises doivent assumer lorsque leurs produits atteignent des mineurs via des institutions éducatives.

OpenAI et Anthropic négocient leurs propres accords avec le syndicat

Weingarten a affirmé qu'il maintient des conversations avec OpenAI et Anthropic pour conclure des accords similaires. Les deux entreprises ont diffusé des messages de soutien à l'entente entre Microsoft et l'AFT.

OpenAI, créatrice de ChatGPT, a qualifié le pacte d'« une avancée majeure pour la sécurité et la confidentialité de l'intelligence artificielle dans les écoles ». L'entreprise a indiqué qu'elle travaille avec le syndicat et espère conclure son propre accord.

Anthropic, développeur de Claude, a déclaré qu'elle soutient les initiatives visant à un usage responsable de l'intelligence artificie dans l'éducation.

L'entreprise a indiqué participer à des conversations avec l'AFT pour définir une norme de sécurité et de confidentialité.

Des conditions qui dépassent les exigences légales en vigueur

Elizabeth Laird, directrice du Centre pour la Démocratie et la Technologie, a soutenu que les nouvelles conditions pourraient modifier la relation entre les écoles et les fournisseurs d'intelligence artificielle.

Son attente est que les petits districts ne soient pas désavantagés lors des négociations avec de grandes entreprises.

Laird a souligné que Microsoft a accepté des limites dépassant les exigences légales actuelles pour les fournisseurs scolaires. Parmi les données que l'entreprise s'est engagée à ne pas utiliser figurent les informations sur le genre, la race, l'âge et le code postal, qui peuvent faciliter l'identification d'une personne même sans inclure son nom.

Smith a reconnu devant l'agence qu'il existe un débat aux États-Unis sur le moment, l'objectif et la manière dont l'intelligence artificielle doit entrer dans l'éducation.

Pour le dirigeant, la responsabilité des entreprises consiste à offrir des produits en lesquels enseignants, élèves et familles peuvent avoir confiance.