ChatGPT ne connaît pas des milliers de mots en espagnol, ce qui entraîne des erreurs

Une étude menée par un groupe de chercheurs de l' Université Polytechnique de Madrid , de l'Université Carlos III de Madrid et de l' Université de Valladolid a vérifié dans quelle mesure ChatGPT connaît la langue espagnole.

Pour ce faire, les scientifiques ont développé une application spéciale appelée « ChatWords », qui a été un outil clé pour cette étude puisqu'elle était chargée de tester le chatbot OpenAI avec une série de plus de 90 000 mots extraits du dictionnaire de la Royale Espagnole . Académie .

Les résultats ont montré que, bien qu'un hispanophone moyen reconnaisse environ 30 000 mots , ChatGPT présentait des erreurs de compréhension dans une fraction considérable des termes espagnols. Selon l'analyse réalisée par les chercheurs , l'algorithme de la plateforme n'est pas aussi efficace qu'on le pense et qu'en réalité, ce modèle d'intelligence artificielle ne connaît pas environ 20 % des mots espagnols testés.

Le professeur Javier Conde de l'École Technique Supérieure d'Ingénieurs en Télécommunications (ETSIT) de l' Université Polytechnique de Madrid , l'un des chercheurs impliqués, a souligné les lacunes observées dans l'étude : « Nous constatons qu'il y a un pourcentage non négligeable dans la mesure où le Le sens qu'il souligne est incorrect et que ChatGPT aujourd'hui n'est peut-être pas aussi sage qu'il y paraît.

De même, Condé a indiqué que même si ChatGPT a accès à de grandes bases de données disponibles sur Internet, ses capacités sont encore limitées lorsqu'il s'agit de s'exprimer dans une langue autre que l'anglais (sa langue maternelle).

Bien que les hispanophones reconnaissent en moyenne 30 000 mots , le défi de ChatGPT pour faire correspondre les connaissances humaines est considérable. Le résultat des recherches des institutions impacte également le monde du travail, où l'efficacité de l'intelligence artificielle dans les tâches qui nécessitent une gestion sophistiquée du langage peut être remise en question.

En général, il existe d'autres intelligences artificielles qui ne peuvent pas non plus fonctionner correctement avec d'autres langages et ne peuvent même pas les reproduire. C'est le cas de Stable Diffusion ou Dall-E , qui ne peuvent actuellement pas générer d'images dans lesquelles un texte lisible puisse être affiché.

Dans quelle mesure le comportement de ChatGPT est-il similaire à celui d'un humain ?

Une autre étude récente publiée par l'Université Cornell (États-Unis) qui teste la capacité de différents programmes d'intelligence artificielle à réussir le soi-disant "Test de Turing" , une évaluation dans laquelle un ordinateur est testé et sa capacité à imiter le comportement d'un humain.

Grâce à un chat virtuel , les 652 personnes qui faisaient partie de l'étude ont dû réaliser jusqu'à 1 810 évaluations et déterminer si les réponses à une série de questions étaient générées par un humain ou par une intelligence artificielle qui tente de l'imiter.

Les chercheurs, Cameron Jones et Benjamin Bergen, ont utilisé une sélection de jusqu'à 25 grands modèles de langage (LLM) différents comprenant différentes versions de ChatGPT , y compris GPT-4, ainsi que d'autres programmes, qui ont été soumis à cette évaluation. dans une proximité maximale de 41% avec un comportement similaire à une personne réelle.

L'évaluation, qui consistait en des humains interagissant avec un chat pendant une durée maximale de 5 minutes et avec des messages ne dépassant pas 300 caractères, a indiqué qu'une intelligence artificielle classique, comme celle appelée ELIZA, ne réussit le test que 27% des temps, alors que des modèles comme GPT-3.5 (créés par OpenAI) dépassent à peine les 14 %.