HyperAIHyperAI

Command Palette

Search for a command to run...

Nouveau modèle AI d'Odyssey : mondes 3D interactifs, soutenu par le co-fondateur de Pixar

La startup Odyssey, fondée par des pionniers de la conduite autonome Oliver Cameron et Jeff Hawke, a développé un modèle d'IA qui permet aux utilisateurs d'« interagir » avec des vidéos en streaming. Ce système, disponible en « démonstration précoce » sur le web, génère et diffuse des images vidéo toutes les 40 millisecondes, offrant une expérience similaire à celle d'un jeu vidéo 3D rendu. Les utilisateurs peuvent explorer différentes zones d'une vidéo via des contrôles basiques, comme dans un jeu vidéo en première personne. Le modèle d'Odyssey utilise une nouvelle représentation du monde pour prédire l'état suivant de celui-ci en fonction de l'état actuel, d'une action entrante et de l'historique des états et actions précédentes. Il génère des pixels réalistes, maintient une cohérence spatiale, apprend des actions à partir de vidéos et peut produire des flux vidéo cohérents pendant plus de 5 minutes. Cependant, la qualité des images est encore perfectible : les environnements générés sont flous et instables, et leur disposition peut changer brusquement lors de mouvements prolongés ou de retours en arrière. Odyssey promet des améliorations rapides, visant à augmenter la stabilité temporelle et la précision de la représentation du monde. Le modèle utilise actuellement des clusters de GPU Nvidia H100 aux États-Unis et en Europe, permettant une diffusion en continu de 30 images par seconde au coût de 1 à 2 dollars par heure d'utilisation. L'entreprise explore également des actions plus complexes, comme l'interaction avec le monde, en apprenant des actions à grande échelle à partir de vidéos. Odyssey adopte une approche différente de celle de nombreux laboratoires d'IA travaillant sur la modélisation du monde. Elle a conçu un système de caméra monté sur un sac à dos, capable de capturer des paysages réels à 360 degrés. Cette méthode vise à créer des modèles de meilleure qualité que ceux formés uniquement sur des données publiques. L'entreprise a également annoncé qu'elle travaille sur un logiciel permettant aux créateurs de charger des scènes générées par son modèle dans des outils tels que Unreal Engine, Blender et Adobe After Effects pour les retoucher manuellement. En décembre dernier, Odyssey a indiqué qu'elle collaborait avec des professionnels créatifs plutôt que de les remplacer. Selon la société, l'« interactive video » ouvre la voie à de nouvelles formes de divertissement, où les histoires peuvent être générées et explorées à la demande, sans les contraintes et les coûts de la production traditionnelle. Elle prévoit que tout ce qui est actuellement sous forme de vidéo — divertissement, publicités, éducation, formation, voyages et plus encore — évoluera vers des formats interactifs alimentés par ses technologies. Plusieurs startups et grandes entreprises technologiques s'intéressent aux modèles de monde, notamment DeepMind, World Labs dirigé par la chercheuse en IA Fei-Fei Li, Microsoft et Decart. Ces entreprises espèrent que ces modèles pourront être utilisés pour créer des médias interactifs, tels que des jeux et des films, ainsi que pour des simulations réalistes, comme des environnements de formation pour les robots. Cependant, les professionnels créatifs ont des sentiments mitigés face à cette technologie. Une enquête récente de Wired a révélé que des studios de jeux vidéo comme Activision Blizzard utilisent l'IA pour réduire les coûts et lutter contre le turn-over, entraînant des licenciements massifs. Un rapport commandé par le Animation Guild en 2024 a estimé que plus de 100 000 emplois dans l'industrie américaine du film, de la télévision et de l'animation seront perturbés par l'IA dans les mois à venir. Malgré ces préoccupations, Odyssey affirme sa volonté de collaborer avec les professionnels créatifs. Ed Catmull, l'un des cofondateurs de Pixar et ancien président de Walt Disney Animation Studios, fait partie du conseil d'administration de l'entreprise. Selon Catmull, Odyssey est à la pointe des recherches dans ce domaine et participe activement à la communauté scientifique, ce qui favorise l'amélioration constante des technologies. Odyssey a levé 27 millions de dollars auprès d'investisseurs, dont EQT Ventures, GV et Air Street Capital. Bien que la démonstration actuelle soit encore imparfaite, elle offre un aperçu prometteur de ce que pourrait être l'avenir de l'interaction avec les vidéos. La rapidité avec laquelle les outils d'IA évoluent suggère que ces défauts pourraient être corrigés dans les années à venir, ouvrant ainsi la voie à des applications plus sophistiquées et plus stables. En somme, Odyssey est un acteur majeur dans le développement de l'« interactive video », une technologie qui pourrait révolutionner plusieurs industries si elle parvient à surmonter ses défis actuels. Les professionnels créatifs restent prudents, mais l'engagement d'Odyssey à collaborer plutôt qu'à remplacer ces professionnels pourrait faciliter l'adoption de cette technologie.

Liens associés

Nouveau modèle AI d'Odyssey : mondes 3D interactifs, soutenu par le co-fondateur de Pixar | Articles tendance | HyperAI