Comment 8 employés de Google ont inventé l'IA moderne

Le modèle, qu'ils ont appelé « Transformateur », se distingue par le fait qu'il s'appuie exclusivement sur des mécanismes d'attention, qui suppriment les réseaux de neurones récurrents ( RNN ) et les réseaux traditionnellement utilisés dans les tâches de traduction de séquences. L'analyse est devenue une étape importante pour le développement de technologies avancées telles que ChatGPT , Dall-E et Midjourney , redéfinissant l'approche des réseaux de neurones grâce à la mise en œuvre de transformateurs et de la technique d'auto-attention.

Le « Transformateur » s'est avéré efficace dans d'autres applications de traitement du langage naturel. Suggérant que le « Transformer » était un outil précieux dans une plus grande variété de tâches d’intelligence artificielle , il a favorisé des avancées significatives dans ce domaine.

Les expériences réalisées par les spécialistes révèlent que cette architecture est capable d'obtenir des résultats supérieurs non seulement en termes de précision et de qualité du texte généré, mais également en termes d'efficacité opérationnelle. La capacité du Transformer à fonctionner sans les complexités associées aux réseaux conventionnels ouvre de nouvelles possibilités pour le développement futur de l'intelligence artificielle .

L'impact de cette innovation s'est rapidement répandu en dehors du domaine scientifique et a remodelé la façon dont le traitement du langage naturel est abordé, pour inciter également à une réévaluation de la stratégie d'innovation au sein de grandes entreprises telles que Google . Malgré ses applications potentielles extrêmement précieuses, Google n'a pas été la principale entité à capitaliser sur cette avancée, permettant à des startups comme OpenAI d'aller de l'avant avec des technologies basées sur des transformateurs comme GPT .

• Noam Shazeer – Co-fondateur et PDG de Character AI . Il a été surpris de voir qu'il était le premier à publier un article révolutionnaire dans le domaine de l'IA , car ses co-auteurs avaient été démocratiquement choisis pour se présenter comme des contributeurs égaux.
• Jakob Uszkoreit – Fils du célèbre linguiste informatique Hans Uszkoreit , il est devenu co-fondateur et PDG d' Inceptive . Son intérêt pour la traduction linguistique l'a amené à rejoindre Google , où son travail contribuerait à changer le cours de l'intelligence artificielle .
• Illia Polosukhin : d'origine ukrainienne et co-fondatrice de Near . Il a travaillé chez Google pour essayer de rendre les recherches en ligne plus efficaces, ce qui l'a finalement amené à collaborer au développement de transformateurs.
• Ashish Vaswani – Fort d'une expérience antérieure dans la création de modèles de traduction automatique, il a rejoint Google , où il s'est radicalement impliqué dans le projet de transformation, avant de co-fonder Essential AI .
• Niki Parmar : Après avoir terminé ses études de master, Parmar a décidé de rejoindre Google , où elle a eu l'opportunité de travailler au sein de l'équipe Transformers, marquant un tournant dans sa carrière et l'amenant finalement à co-fonder Essential AI .
• Llion Jones – Originaire du Pays de Galles et co-fondateur de Sakana AI , Jones a rejoint l'équipe Transformers, motivé par sa curiosité et sa croyance dans le potentiel de l'auto-attention pour changer le traitement du langage naturel dans l'IA .
• Łukasz Kaiser : Polonais et figure clé d' OpenAI , qui, contribuant à la théorie informatique, a rejoint le projet transformateur et a contribué de manière significative à son succès.
• Aidan Gomez : Canadien et co-fondateur de Cohere , ce jeune chercheur a rejoint Google en tant que stagiaire, jouant un rôle crucial dans le développement de Transformers grâce à son regard neuf et son énergie.

Lorsque l’on considère l’héritage laissé par « Attention is All You Need » et ses auteurs, il est clair qu’ils ont établi un nouveau paradigme dans la façon dont les machines comprennent et génèrent le langage. Ces travaux ont marqué un avant et un après dans le traitement du langage naturel et ont également inspiré une exploration continue des limites de ce que l’intelligence artificielle peut réaliser, confirmant qu’en effet, parfois, l’attention peut suffire.

Chacun de ces chercheurs, venant de différentes régions du monde et ayant des histoires personnelles uniques, se sont réunis chez Google pour créer Transformers. L'équipe, creuset de talents et d'expériences, s'est distinguée par sa collaboration et le respect des contributions égales, jusque dans la nomenclature de son travail fondamental. Malgré des perspectives et des parcours variés, ils ont réussi à faire progresser l’intelligence artificielle de manière significative et à jeter les bases des futures innovations dans le domaine. À l'heure actuelle, chacun, sur son chemin après Google , continue d'avoir un impact sur le monde technologique, portant l'héritage de leur collaboration vers de nouvelles frontières d'exploration et de développement de l'IA .