Les robots de Google effectuent plus de 200 tâches : de la préparation des repas à la manipulation d'objets en laboratoire.

Google DeepMind a présenté Gemini Robotics 2.5, un modèle d'intelligence artificielle qui permet aux robots d'apprendre plus de 200 nouvelles tâches en quelques semaines au lieu de mois et de les exécuter dans des usines réelles avec un taux de réussite de 96 %.

Le système combine vision, langage et action, ce qui signifie concrètement que le robot voit un objet, comprend ce qui lui est demandé et déplace ses bras et ses mains pour l'accomplir, sans qu'un programmeur n'indique chaque mouvement étape par étape.

Quelles tâches ces robots peuvent-ils effectuer ?

Gemini Robotics 2.5 a été évalué sur plus de 200 tâches distinctes, allant du service de nourriture avec des pinces au nouage d'un ruban sur une boîte cadeau ou à la manipulation de liquides avec une pipette.

Gemini Robotics 2.5 est le modèle de Google DeepMind qui combine vision, langage et action pour qu'un robot interprète un ordre, reconnaisse un objet et le manipule de manière autonome, avec des améliorations allant jusqu'à cent pour cent du taux de réussite par rapport à sa version précédente. Cette capacité le rapproche d'activités qui nécessitaient auparavant la dextérité manuelle d'une personne.

Selon les tests de l'entreprise, le modèle obtient entre 30 % et 100 % plus de succès que la version précédente, selon le type de tâche, et accomplit ces tâches entre 20 % et 30 % plus rapidement.

Le modèle fonctionne sur différents corps robotiques. L'un d'eux est l'humanoïde Apollo 2, de l'entreprise Apptronik, qui intègre une main à cinq doigts avec 22 degrés de liberté appelée SharpaWave. Il opère également sur la plateforme Franka Duo, équipée de pinces à deux doigts.

Le test dans les usines de Mercedes-Benz

Pour vérifier si le système fonctionne en dehors d'un laboratoire, Google DeepMind l'a déployé sur des lignes de production actives de Mercedes-Benz à Kecskemét, en Hongrie, et à Sindelfingen, en Allemagne.

Là-bas, les robots Apollo 2 ont réalisé de manière autonome une tâche connue sous le nom de kitting : prendre des pièces détachées dans des conteneurs en vrac et les ranger dans des plateaux, dans la séquence exacte nécessaire à chaque véhicule de la chaîne.

C'est un travail répétitif et physiquement éprouvant qui, une fois confié aux robots, libère les techniciens humains pour qu'ils se concentrent sur l'assemblage de plus grande complexité.

Le robot utilise un modèle de raisonnement pour suivre le flux de travail et un modèle d'action pour contrôler les bras et les mains, avec la capacité de corriger les écarts sans intervention humaine. Le résultat a été un taux de réussite de 96 %.

C'est pour cela que nous avons construit Apollo : pour effectuer un travail utile aux côtés des personnes dans des environnements industriels réels, a affirmé Jeff Cardenas, cofondateur et directeur général d'Apptronik. Le dirigeant a ajouté qu'en combinant Apollo 2 avec Gemini Robotics, les modèles se sont améliorés de manière notable en quelques semaines d'entraînement supplémentaire et ont maintenu ces performances lors du passage à la production réelle chez Mercedes-Benz.

Comment l'intelligence artificielle entraîne ces robots

Derrière cette avancée se trouve Gemini 4 Argon, l'un des modèles les plus récents de Google, qui sert de moteur de simulation pour accélérer l'entraînement.

Argon génère des milliers d'essais simulés à partir d'une scène enregistrée avec des caméras réelles et construit ce que la société appelle un jumeau numérique de haute précision. Combiné avec des démonstrations réelles, cela permet au robot d'apprendre à manipuler des objets et des scènes nouvelles plus rapidement.

Le modèle aide également les chercheurs à identifier pourquoi une tâche échoue à partir de l'enregistrement vidéo, et à tester des améliorations tant en simulation que sur des robots physiques.

Cela s'ajoute à un entraînement basé sur un sens du toucher partagé entre plusieurs robots, construit avec un ensemble de données d'origine chinoise regroupant 5 000 heures de manipulation. Cette base tactile commune permet à différents robots de transférer ce qu'un d'eux a appris vers des tâches qu'ils n'avaient jamais affrontées.