Les modèles du monde entraînent un changement d'orientation de l'intelligence computationnelle, passant des tâches linguistiques au raisonnement visuel et spatial. En construisant des simulations d'environnements 3D dynamiques, ces modèles permettent aux agents de percevoir des scènes complexes et d'interagir avec elles, ouvrant ainsi de nouvelles perspectives de recherche et d'application dans des domaines tels que l'intelligence incarnée et le développement de jeux vidéo. Actuellement, les modèles du monde sont principalement utilisés pour la génération de vidéos interactives en temps réel, et des progrès significatifs ont été réalisés dans ce domaine.Cependant, la question de savoir comment parvenir simultanément à une faible latence dans la génération en temps réel et à une grande cohérence dans la géométrie à long terme reste un problème clé non résolu dans ce domaine.

Sur cette base,L'équipe Hunyuan de Tencent a lancé WorldPlay, une plateforme de modélisation du monde qui permet une modélisation interactive en temps réel tout en maintenant une cohérence géométrique à long terme.Cela résout efficacement le compromis inhérent entre la vitesse de génération et l'utilisation de la mémoire dans les méthodes existantes. La mise en œuvre de ce système repose sur trois innovations technologiques clés :

*Représentation à double action :Il utilise une représentation à double action pour assurer un contrôle robuste des entrées clavier et souris de l'utilisateur, garantissant ainsi la précision et la stabilité des réponses interactives.

*Reconstruction du mécanisme de mémoire contextuelle :Pour garantir une cohérence à long terme, le modèle conçoit un module de mémoire de contexte de reconstruction dynamique, capable de reconstruire les informations contextuelles des images historiques et de maintenir l'accessibilité des images géométriquement critiques mais anciennes grâce à une stratégie de reconstruction temporelle, atténuant ainsi considérablement le problème de la dégradation de la mémoire.

*Méthode de distillation forcée par contexte :L'équipe de recherche a proposé une nouvelle méthode de distillation spécifiquement conçue pour les modèles de perception de la mémoire, appelée « forçage contextuel ». Cette méthode aligne le contexte mnésique entre les modèles de l'enseignant et de l'élève, permettant au modèle de l'élève de maintenir une vitesse de raisonnement en temps réel sans perdre sa capacité à utiliser des informations distantes, supprimant ainsi efficacement les biais d'erreur.

WorldPlay est capable de générer de manière stable de longues séquences de vidéo en streaming haute définition 720p à 24 images par seconde.Surpassant les technologies existantes sur de multiples plans et faisant preuve d'excellentes capacités de généralisation dans divers scénarios, WorldPlay a franchi une étape cruciale dans la création de modèles du monde cohérents et en temps réel en fournissant un cadre systématique pour le contrôle, la mémoire et le perfectionnement.

Le site web d'HyperAI propose désormais « HY-World 1.5 : un framework de système de modélisation du monde interactif ». Essayez-le !

Utilisation en ligne :https://go.hyper.ai/Dgd3Z

Aperçu rapide des mises à jour du site web officiel d'hyper.ai du 29 décembre au 2 janvier :

* Sélection de tutoriels de haute qualité : 3

* Entrées d'encyclopédie populaire : 5

Principales conférences avec des dates limites en janvier : 10

Visitez le site officiel :hyper.ai

Tutoriels publics sélectionnés

1. HY-World 1.5 : Cadre pour un système de modélisation du monde interactif

HY-World 1.5 (WorldPlay) est le premier modèle de monde interactif en temps réel open source à cohérence géométrique à long terme, développé par l'équipe Hunyuan de Tencent. Ce modèle permet la modélisation d'un monde interactif en temps réel grâce à la technologie de diffusion vidéo en continu, résolvant ainsi le compromis entre vitesse et mémoire des méthodes actuelles.

Exécuter en ligne : https://go.hyper.ai/Dgd3Z

2. Maya1 : Un service de génération vocale très réaliste et émotionnel

Maya1, développé par Maya Research, est un modèle de synthèse vocale (TTS) émotionnel haute fidélité, conçu pour les tâches de synthèse vocale de haute qualité. Il offre une riche expression émotionnelle et un style de parole contrôlable. Ce modèle s'attache à reproduire fidèlement l'état émotionnel, le débit, le ton, le timbre et l'expressivité du locuteur grâce à des descriptions en langage naturel, générant ainsi une parole très réaliste, proche de l'expression humaine.

Exécuter en ligne : https://go.hyper.ai/RmmI3

3. RFdiffusion3 : Modèle de conception de protéines

RFdiffusion3 (RFD3) est un modèle développé par le Protein Design Institute de l'Université de Washington. Ce modèle d'IA de pointe pour la conception de protéines peut générer de nouvelles protéines interagissant avec pratiquement n'importe quelle molécule des cellules vivantes, résolvant ainsi un problème de recherche de longue date qui a longtemps frustré les ingénieurs en protéines.

Exécuter en ligne : https://go.hyper.ai/gv4Rz

Articles populaires de l'encyclopédie

1. Images par seconde (IPS)

2. Mémoire à long terme bidirectionnelle (Bi-LSTM)

3. Attention contrôlée

4. Navigation incarnée

5. Unité récurrente à porte

Voici des centaines de termes liés à l'IA compilés pour vous aider à comprendre « l'intelligence artificielle » ici :

https://go.hyper.ai/wiki

Suivi unique des principales conférences universitaires sur l'IA :https://go.hyper.ai/event

Voici tout le contenu de la sélection de l’éditeur de cette semaine. Si vous avez des ressources que vous souhaitez inclure sur le site officiel hyper.ai, vous êtes également invités à laisser un message ou à soumettre un article pour nous le dire !

À la semaine prochaine !