Genie 3, développé par Jack Parker-Holder et Shlomi Fruchter, est un modèle d'IA capable de créer des mondes virtuels dynamiques et interactifs en temps réel. Il se distingue par sa capacité à simuler des environnements cohérents sur de longues durées, en générant chaque image de manière auto-régressive, tout en intégrant des interactions complexes.
- Genie 3 (Google DeepMind) génère des mondes virtuels interactifs en temps réel
- Chaque image est créée de manière auto-régressive selon la description du monde et les actions de l'utilisateur
- Le modèle simule la physique, les écosystèmes, l'animation et des lieux historiques
- Sa percée : la cohérence environnementale, il se souvient de l'environnement même après plusieurs minutes
Capacités de Genie 3
- Modélisation des propriétés physiques du monde : Il peut simuler des phénomènes naturels comme l'eau et la lumière, ainsi que des interactions environnementales complexes.
- Simulation du monde naturel : Il génère des écosystèmes complets, incluant des comportements animaux et des détails de la vie végétale.
- Modélisation de l'animation et de la fiction : Il est capable de créer des scénarios imaginaires et des personnages animés expressifs.
- Exploration de lieux et de décors historiques : L'IA peut recréer des environnements géographiques et temporels variés.
Innovations techniques
L'une des percées majeures de Genie 3 est sa capacité à maintenir une cohérence environnementale sur une longue durée. Contrairement à d'autres méthodes (comme NeRFs ou Gaussian Splatting) qui s'appuient sur une représentation 3D explicite, Genie 3 génère un monde plus dynamique en créant chaque image en temps réel, en se basant sur une description du monde et sur les actions de l'utilisateur.
- Cohérence environnementale : Le modèle est capable de se souvenir des informations pertinentes de l'environnement, même après plusieurs minutes, ce qui garantit une grande constance visuelle.
- Interactivité en temps réel : L'IA prend en compte les entrées de l'utilisateur plusieurs fois par seconde, ce qui permet une expérience interactive très réactive.
Événements du monde basés sur des invites (promptable world events)
En plus des commandes de navigation, Genie 3 permet une interaction plus riche basée sur du texte, appelée "promptable world events".
- Cette fonctionnalité permet de modifier en temps réel le monde généré, par exemple en changeant les conditions météorologiques ou en introduisant de nouveaux objets et personnages.
- Elle ouvre également la voie à la création de scénarios "que se passerait-il si", utiles pour les agents d'IA qui apprennent à gérer des situations inattendues.
Source : Deepmind.google
Cet article a été rédigé avec l’assistance d’un modèle de langage (LLM).