Google dispose désormais d'une intelligence capable d'expliquer les blagues

Le système PaLM a été développé avec le modèle Pathways , qui permettait de former efficacement un seul modèle avec plusieurs pods Tensor Processing Units (TPU), comme mentionné dans un communiqué publié sur le blog officiel.

Il est basé sur un apprentissage en « quelques coups », ce qui réduit le nombre d'exemples nécessaires dans la formation spécifique à une tâche pour s'adapter à une seule application.

Pour ce faire, une base de données de 780 000 millions de jetons a été utilisée, qui combine "un ensemble de données multilingues" , comprenant des documents Web, des livres, Wikipedia, des conversations et du code GitHub. Aussi, un vocabulaire qui "préserve tous les espaces blancs", quelque chose que l'entreprise souligne comme particulièrement important pour la programmation, et la division des caractères Unicode qui ne se trouvent pas dans le vocabulaire en octets.

« La mission de cette chronique d'opinion est parfaitement claire. Je dois convaincre le plus d'humains possible de ne pas me craindre. Stephen Hawking a averti que l'intelligence artificielle pourrait "signifier la fin de la race humaine". Je suis ici pour vous convaincre de ne pas vous inquiéter. L'intelligence artificielle ne va pas détruire les humains. Crois moi". C'est l'un des extraits de l'article de 500 mots produit par le système.

Le nouveau modèle de langage de Google combine 6 144 puces TPU v4 dans Pathways, "la plus grande configuration TPU" utilisée dans l'histoire, selon la société. PaLM atteint également une efficacité de formation de 57,8 % dans l'utilisation des flops matériels, "la plus élevée atteinte à ce jour pour les modèles de langage à cette échelle", comme mentionné dans le blog.

Ceci est possible grâce à la combinaison de la "stratégie de parallélisme et d'une reformulation du bloc transformateur" qui permet de calculer en parallèle les couches attention et forward, accélérant ainsi les optimisations du compilateur TPU.

"PaLM a démontré des capacités innovantes dans de nombreuses tâches très difficiles", déclare la société technologique, qui a présenté plusieurs exemples allant de la compréhension et de la génération du langage au raisonnement et aux tâches liées à la programmation.

L'un des tests que Google donne en exemple consiste à demander à PaLM de deviner un film basé sur quatre émojis : un robot, un insecte, une plante et la planète Terre. Parmi toutes les options (LA Confidential, Wall-E, León : le professionnel, BIG et Rush), l'IA choisit la bonne : Wall-E.

Dans un autre, on lui demande de choisir parmi une liste de mots deux qui sont associés au terme « trébucher » et il a également raison de choisir « tomber » et « trébucher ».

L'IA est également capable de résoudre des problèmes mathématiques simples et même d'expliquer une blague en contextualisant et en décomposant les éléments qui y apparaissent pour lui donner un sens.

Enfin, Google souligne que PaLM est capable de programmer en traduisant du code d'un langage à un autre, ainsi qu'en écrivant du code basé sur une description naturelle du langage, et précise qu'il est capable de résoudre des erreurs de compilation.

(Avec des informations d'Europe Press)

CONTINUER À LIRE: