Google DeepMind dévoile Genie 4, avec audio en temps réel, personnages interactifs et univers plus réalistes

Des univers virtuels qui réagissent par l’image, le mouvement et le son

Google DeepMind a dévoilé Genie 4, un modèle expérimental d’intelligence artificielle qui génère des univers virtuels interactifs, avec du son, des dialogues parlés et des environnements physiques évolutifs. Annoncé le 27 octobre, heure des États-Unis, le modèle est d’abord proposé à un petit groupe de testeurs de confiance. Son accès devrait ensuite être étendu via Project Genie, l’API Gemini et Google AI Studio.

Selon Google, Genie 4 peut maintenir la cohérence d’une scène pendant deux minutes, soit deux fois plus longtemps que la durée d’environ une minute attribuée à son prédécesseur, Genie 3. Pendant ce temps, les utilisateurs peuvent se déplacer dans un environnement, changer la météo, faire apparaître des personnes ou des objets et entendre les personnages réagir aux événements.

Sundar Pichai, directeur général d’Alphabet et de Google, a décrit le modèle en annonçant son accès en avant-première à des fins de recherche :

notre modèle d’univers le plus réaliste et interactif

La principale nouveauté est la génération audio native : le son fait partie de l’expérience simulée, au lieu d’être ajouté après coup. Le vent, les vagues, la musique d’ambiance et les conversations peuvent accompagner l’évolution d’un univers. Google affirme également avoir amélioré les mouvements humains et la simulation d’effets physiques tels que les collisions et l’aérodynamique, c’est-à-dire la façon dont l’air agit sur les objets en mouvement.

Google envisage d’utiliser cette technologie pour la préparation de films, le développement de jeux, l’éducation et l’entraînement de robots ou d’agents d’IA avant leur intervention dans des environnements réels. Ses limites actuelles sont tout aussi concrètes : les scènes ne durent que peu de temps, les objets peuvent changer de façon inattendue, les textes affichés dans une scène peuvent être difficiles à lire et la précision audio reste à améliorer.

En quoi un univers interactif diffère d’une vidéo générée

Genie part d’une description textuelle ou d’une image et génère un environnement que l’utilisateur peut explorer. Une vidéo générée classique suit une séquence que le spectateur regarde. Un modèle d’univers, lui, continue à produire la suite des événements en fonction des actions de l’utilisateur.

Des commandes au clavier permettent de se déplacer et de positionner la caméra. Des instructions écrites peuvent modifier l’environnement en cours d’exécution, par exemple en changeant la météo, en ajoutant un personnage ou en déplaçant le point de vue. Le système doit alors générer les images suivantes pour refléter ces changements.

Google décrit ce processus comme une génération de l’expérience image par image. Au lieu de devoir préparer à l’avance toutes les interactions possibles, le modèle prédit la suite de la scène lorsqu’une personne agit dans cet univers.

La continuité devient ainsi un enjeu central. Une simulation utile doit garder en mémoire l’emplacement des objets, les mouvements des personnes et les événements déjà survenus. Une scène convaincante pendant un instant perd de son intérêt si sa disposition change lorsque l’utilisateur se retourne.

Le son fait des personnages des acteurs de l’interaction

Genie 4 ajoute des sons d’ambiance, de la musique et des paroles à cet univers visuel évolutif. Selon Google, le son peut correspondre au lieu généré, qu’il s’agisse du vent dans les arbres ou des vagues qui se brisent sur le rivage.

Les personnages peuvent aussi répondre aux instructions de l’utilisateur et aux événements de la simulation. Leurs dialogues sont censés évoluer en fonction de la situation, au lieu de suivre une bande-son fixe. Les utilisateurs peuvent préciser des éléments audio dans leurs requêtes, comme ils le font pour les éléments visuels.

Google affirme que les personnages humains ont également progressé, avec des mouvements plus naturels et des réactions à leur environnement. Leurs actions peuvent être dirigées pendant que la simulation se poursuit, réunissant le comportement des personnages et la modification de la scène dans une même interaction.

La précision audio reste un problème de développement reconnu par l’équipe. Pour préparer une scène ou un exercice interactif, il faut concrètement que les paroles et les sons d’ambiance restent pertinents à mesure que l’action évolue.

Gemini planifie tandis que Genie génère

Google a intégré plus étroitement sa famille de modèles d’IA Gemini à Genie 4. Les modèles ont des rôles différents : Genie génère l’univers simulé, tandis que Gemini aide à orienter les événements et vérifie que le résultat respecte le plan prévu.

Gemini Omni contribue à l’apparence et au comportement de l’environnement. Gemini 3.8 Flash surveille les images entrantes, décompose les objectifs en étapes plus petites, vérifie si les actions aboutissent et adapte le plan lorsque la scène évolue ou qu’un utilisateur intervient.

En termes simples, une partie du système crée le point de vue suivant, tandis qu’une autre suit la progression vers un objectif. Cette organisation vise à faire en sorte que les événements s’enchaînent de manière cohérente, notamment lorsqu’une tâche nécessite plusieurs actions plutôt qu’une seule réaction immédiate.

Tejas Kulkarni, directeur de recherche chez Google, a présenté la vision à plus long terme de l’entreprise lors d’une réunion d’information :

À l’avenir, nous verrons de plus en plus ces modèles d’univers hybrides, qui combinent Gemini, chargé d’écrire du code et du texte, et Genie, qui les assimile en temps réel et simule la réalité à différents niveaux d’abstraction.

Cette combinaison permettrait au langage, au code et à la simulation visuelle de fonctionner ensemble. Genie 4 applique déjà cette répartition des rôles dans une certaine mesure : Gemini aide à orienter un univers généré pendant que l’utilisateur l’explore.

Pourquoi Google veut que les robots s’y entraînent

Google DeepMind teste la possibilité d’utiliser Genie 4 comme environnement d’entraînement pour des robots et des agents d’IA. Un agent est un logiciel qui poursuit un objectif en choisissant des actions, en examinant leurs résultats et en décidant de la suite.

Dans une expérience liée à Gemini Robotics, Gemini 4 Argon a décomposé des tâches en étapes que Genie 4 a simulées en temps réel. L’objectif est d’étudier comment un robot pourrait accomplir une tâche complexe avant de tenter de la réaliser dans le monde physique.

Selon Google, les environnements virtuels pourraient reproduire des situations difficiles à rencontrer ou à organiser dans la réalité. Les développeurs pourraient modifier les conditions et observer la réaction d’un agent, sans devoir reconstruire un espace de test physique pour chaque variante.

Les améliorations annoncées concernant les collisions et l’aérodynamique sont particulièrement importantes pour cet usage. L’entraînement nécessite un lien pertinent entre une action et son résultat : par exemple, la façon dont un objet se déplace après un contact ou dont un environnement réagit à un mouvement. Google reconnaît que les interactions physiques complexes restent un défi pour le modèle.

La préparation de films, un usage plus immédiat

Des testeurs de confiance ont relevé la préparation de prototypes de films et la création rapide de storyboards parmi les applications possibles. Un storyboard présente une séquence de plans avant le tournage. Genie 4 pourrait permettre à une équipe créative d’explorer les positions de caméra, les actions des personnages et les changements d’atmosphère pendant qu’une idée prend forme.

Diego Rivas, ingénieur chez Google DeepMind, a expliqué lors d’un point de presse l’intérêt de réactions immédiates à ce stade :

L’aspect temps réel devient particulièrement précieux dans les domaines où préserver un état de fluidité créative est extrêmement utile.

Rivas a cité la recherche d’idées et la création de storyboards en exemple. L’intérêt pratique tient à la rapidité : un créateur pourrait modifier une scène et en explorer le résultat sans s’arrêter pour préparer une séquence distincte pour chaque variante.

Google propose également Veo, qui génère des clips vidéo avec une bande-son synchronisée à partir de requêtes. Rivas a évoqué la possibilité, à terme, que Gemini Omni aide à transformer des prototypes en ressources créatives, tout en précisant que ces capacités ne sont pas pour tout de suite.

Le jeu vidéo et l’enseignement interactif figurent parmi les autres usages envisagés. Leur point commun est une scène qui réagit aux actions du participant, plutôt qu’un contenu finalisé qui se déroule toujours de la même façon.

Deux minutes de cohérence restent une limite stricte

La durée de cohérence annoncée pour Genie 4, deux minutes, double la limite d’environ une minute de Genie 3. Les utilisateurs disposent ainsi de plus de temps pour explorer une idée, mais la durée d’une activité continue reste limitée.

Google indique que les objets et les détails visuels peuvent dériver au fil d’une simulation. Un objet peut changer d’apparence ou de position, et le système peut perdre de vue la manière dont la scène a commencé. Les longues sessions restent donc difficiles, même avec l’aide de Gemini pour maintenir la continuité.

Les textes générés dans un univers peuvent aussi être illisibles. Cela pose un problème concret pour les scènes comportant des panneaux, des consignes ou d’autres textes qu’une personne doit pouvoir lire.

Google présente Genie 4 comme un modèle expérimental préliminaire et travaille avec des testeurs issus de différents domaines. Rivas a indiqué que l’expérience complète du produit final était encore en cours d’élaboration. Pour l’instant, l’expérience se concentre sur de courtes expérimentations, tandis que la continuité visuelle, le comportement physique et le son nécessitent encore des améliorations.

Qui pourra y accéder et à quel prix ?

L’accès en avant-première à des fins de recherche de Genie 4 a commencé auprès de testeurs de confiance. Google prévoit d’élargir l’accès du grand public via Project Genie aux abonnés Google AI Ultra, et celui des développeurs grâce à des partenariats d’accès anticipé utilisant l’API Gemini et Google AI Studio.

Google a indiqué que cette extension aurait lieu prochainement, avec un déploiement attendu dans les semaines à venir, sans toutefois annoncer de date précise. Project Genie accepte les inscriptions sur liste d’attente. L’accès par API permettrait aux développeurs de connecter le modèle à leurs propres logiciels, tandis qu’AI Studio sert à expérimenter les modèles de Google.

Les forfaits Google AI Ultra sont annoncés à partir de 100 dollars par mois. Aucun tarif distinct pour l’accès des développeurs à Genie 4 n’a été communiqué. Un accès via AI Pro et AI Plus a été évoqué comme une extension ultérieure possible, et non comme une modalité de lancement confirmée.

Google indique que les vidéos et les sons générés porteront SynthID, son filigrane numérique permettant d’identifier les contenus produits par l’IA. Ce marquage doit aider à repérer les contenus créés par le système à mesure que ces expériences simulées seront proposées à davantage d’utilisateurs.

De Genie 3 à une compétition plus large autour de la simulation

Genie 4 s’inscrit dans une série d’étapes visant à rendre les modèles d’univers de Google accessibles au-delà des démonstrations de recherche :

• Août 2025 : Google DeepMind annonce Genie 3.
• Janvier 2026 : Google commence à tester Project Genie avec ce modèle.
• Mai 2026 : Google annonce une intégration avec Street View.
• 27 octobre, heure des États-Unis : Google annonce Genie 4 et son accès initial en avant-première à des fins de recherche.

La concurrence s’étend aussi au-delà des scènes interactives sans son. GWM Worlds 2 de Runway, lancé quelques mois avant Genie 4, réagit aux actions de l’utilisateur et inclut la génération audio.

D’autres initiatives du secteur témoignent de l’intérêt pour la simulation, tant dans le développement de l’IA que pour les systèmes physiques. Rivian a racheté Third Dimension afin d’intégrer des capacités de simulation à ses activités de tests de véhicules. L’acquisition annoncée de World Labs par AMD et les discussions d’Amazon en vue de racheter Decart inscrivent également les technologies de modèles d’univers dans une vague plus large d’opérations, même si les échanges avec Amazon n’en sont encore qu’au stade des discussions.

La dernière proposition de Google combine génération de scènes, dialogues et planification par Gemini au sein d’un même système expérimental. La prochaine étape concrète sera l’élargissement de l’accès, qui permettra à davantage de créateurs et de développeurs de découvrir quelles tâches courtes le modèle peut accomplir de façon fiable.

À retenir

• Google DeepMind a annoncé Genie 4 le 27 octobre, heure des États-Unis, en commençant par des testeurs de confiance.
• Le modèle génère des univers interactifs avec des sons d’ambiance, de la musique et des dialogues parlés adaptés aux événements.
• Selon Google, la cohérence des scènes dure jusqu’à deux minutes, soit deux fois la limite d’environ une minute de Genie 3.
• Les modèles Gemini aident à planifier les actions, à surveiller les scènes générées et à adapter les simulations.
• Parmi les usages envisagés figurent la création de storyboards, les jeux, l’éducation et l’entraînement des robots.
• Les objets peuvent dériver, les textes être illisibles, et la physique complexe comme la précision audio restent des défis de développement.
• L’accès est prévu via Project Genie, l’API Gemini et Google AI Studio, sans date précise d’élargissement ni tarif pour les développeurs annoncés.