Google a présenté Genie 4, une IA qui crée des mondes avec du son et des dialogues et permet de les modifier en temps réel.

Google DeepMind, le laboratoire d'intelligence artificielle de Google, a présenté Genie 4, un modèle qui génère des mondes interactifs à partir de texte, avec de la musique, des bruits ambiants et des dialogues créés en temps réel. L'utilisateur peut écrire de nouvelles commandes pendant la simulation pour modifier la scène.

Pour l'instant, l'accès est une préversion de recherche destinée aux testeurs de confiance, c'est-à-dire les utilisateurs qui reçoivent en premier les produits expérimentaux de Google. Dans les prochaines semaines, il sera disponible pour les abonnés à Google AI Ultra, l'offre la plus coûteuse de l'entreprise, au sein de Project Genie, son outil pour créer des mondes interactifs. Ensuite, les partenaires ayant un accès anticipé à l'API de Gemini et à Google AI Studio y auront accès, selon TechCrunch.

Google a indiqué sur son blog qu'il recueillerait des commentaires avant de le lancer auprès des consommateurs et des développeurs.

Un modèle de monde génère chaque image au fur et à mesure, sans environnements prédéfinis ni programmation des éléments interactifs. L'utilisateur décrit ce qu'il souhaite et explore le résultat, qui se construit image par image pendant qu'il se déplace.

Les changements par rapport à Genie 3

Genie 4 est le premier modèle de monde de DeepMind à générer de l'audio de manière native en temps réel. Chaque scène est accompagnée du son de son environnement, comme le vent entre les arbres ou les vagues sur une plage. Il intègre également des dialogues qui s'adaptent aux actions de l'utilisateur et à ce qui se passe dans le monde simulé.

L'utilisateur peut modifier la simulation avec un langage naturel : changer la météo, déplacer la caméra ou ajouter des personnes et des objets. Gemini, la famille de modèles d'IA de Google, adapte chaque commande à la scène. L'entreprise affirme que les personnages se déplacent de manière plus naturelle et réagissent mieux à leur environnement.

La scène reste cohérente jusqu'à deux minutes, soit le double de Genie 3, selon TechCrunch et The Verge. Genie 3 est sorti en préversion il y a un peu plus d'un an.

Le modèle Gemini 3.8 Flash agit comme agent guide : il observe la scène, divise les objectifs en étapes et vérifie chaque image pour s'assurer qu'elles sont respectées. Si l'utilisateur intervient, il ajuste le plan.

Robots, cinéma et jeux vidéo comme usages possibles

Google a également testé le système avec Gemini Robotics. Dans cette expérience, un modèle nommé Gemini 4 Argon a décomposé une tâche en étapes que Genie 4 a simulées en temps réel. Selon DeepMind, l'idée est de tester des scénarios dans des mondes simulés avant de les transposer dans la réalité.

Tejas Kulkarni, directeur de la recherche chez Google, a déclaré lors d'une conférence de presse que l'on verra de plus en plus de modèles hybrides où Gemini écrit du code et du texte, et Genie les convertit en une simulation en temps réel.

Parmi les usages proposés par Google figurent les jeux vidéo, l’apprentissage interactif et la robotique. Les testeurs de confiance en citent un autre : la préparation de films. L’ingénieur de DeepMind, Diego Rivas, a déclaré que le temps réel est plus utile lors de la phase d’idées et des storyboards, et a précisé que l’expérience finale du produit n’est pas encore définie.

Ars Technica a rappelé que Genie 3 a suscité des inquiétudes dans l’industrie du jeu vidéo, bien que DeepMind soutienne qu’il ne le conçoit pas comme un outil de jeu, mais comme une étape vers l’intelligence artificielle générale.

Limites reconnues et concurrence

Google admet des défauts. Les détails et la persistance des objets peuvent varier au fur et à mesure que la simulation progresse, surtout après plusieurs modifications. La précision de l’audio, la lisibilité du texte dans le monde et les interactions physiques complexes restent à l’étude. Il ne représente pas non plus les lieux réels avec exactitude.

Toute la vidéo et l’audio de Genie 4 porteront SynthID, le filigrane invisible de Google qui identifie le contenu généré par IA.

TechCrunch situe le lancement dans un secteur qui se concentre. Runway a présenté il y a quelques mois son deuxième modèle de monde, GWM Worlds 2, qui génère également de l’audio. Selon cette source, AMD acquerra World Labs, de Fei-Fei Li, Amazon négocie l’achat de Decart et Rivian a acquis Third Dimension pour simuler des tests de conduite autonome.