Rapport Hebdomadaire Sur l'IA : Aperçu Rapide Des Agents De Mémoire Multimodaux, Des Modèles Visual Basic, Des Modèles De Raisonnement, etc.

Dans le développement d’agents intelligents multimodaux, la manière de stocker et d’utiliser efficacement la mémoire à long terme comme les humains a toujours été un défi majeur.

Le framework M3-Agent offre une solution innovante à ce problème : il reçoit et traite des données visuelles et auditives en temps réel, transformant ces informations en un graphe de mémoire à long terme multimodal centré sur les entités. Il intègre également un mécanisme hiérarchique pour la mémoire épisodique et sémantique. Comparé aux approches traditionnelles, il présente des caractéristiques plus proches de l'intelligence humaine en termes de rétention d'informations à long terme, de raisonnement multimodal et de cohérence mnésique.

Lien vers le document:https://go.hyper.ai/lGKm9

Derniers articles sur l'IA:https://hyper.ai/papers

Afin de permettre à davantage d'utilisateurs de connaître les derniers développements dans le domaine de l'intelligence artificielle dans le milieu universitaire, le site Web officiel d'HyperAI (hyper.ai) a désormais lancé une section « Derniers articles », qui met à jour quotidiennement les articles de recherche de pointe sur l'IA.Voici 5 articles populaires sur l'IA que nous recommandonsNous avons également résumé la carte mentale de la structure du document pour tous. Jetons un coup d'œil rapide aux avancées de pointe en IA de la semaine.

Recommandation de papier de cette semaine

1. Voir, écouter, se souvenir et raisonner : un agent multimodal doté d'une mémoire à long terme

Cet article présente M3-Agent, un nouveau framework d'agent multimodal doté d'une mémoire à long terme. M3-Agent traite les entrées visuelles et auditives en temps réel et utilise ces informations pour construire et actualiser sa mémoire à long terme. Outre la mémoire épisodique, il développe également une mémoire sémantique, accumulant ainsi des connaissances sur son environnement. Les résultats expérimentaux montrent que M3-Agent, entraîné par apprentissage par renforcement, surpasse les performances de référence les plus élevées obtenues grâce à une combinaison d'indices des modèles Gemini-1.5-pro et GPT-4o.

Lien vers l'article :https://go.hyper.ai/lGKm9

Ensemble de données de référence de questions-réponses vidéo longues M3-Bench :https://go.hyper.ai/FPR7q

2.Medical Graph RAG : vers un modèle de langage médical large et sécurisé grâce à la génération augmentée de graphiques

Cet article propose un nouveau cadre de génération augmentée de données (RAG) basé sur des graphes pour le domaine médical, baptisé MedGraphRAG. Ce cadre vise à améliorer la capacité des modèles de langage à grande échelle à générer des réponses médicales fondées sur des preuves, tout en renforçant la sécurité et la fiabilité du traitement des données médicales privées. L'équipe de recherche présente deux technologies innovantes : la construction de structures de triples graphes et le mécanisme U-Retrieval.

Lien vers l'article :https://go.hyper.ai/FIuKc

3.VisCodex : Génération de code multimodal unifié via la fusion de modèles de vision et de codage

Cet article présente un nouveau framework, VisCodex, qui améliore les capacités de génération de code des grands modèles de langage multimodaux en fusionnant modèles visuels et de codage. De plus, l'équipe de recherche a construit un ensemble de données diversifié et à grande échelle, appelé Multimodal Coding Dataset (MCD), qui comprend du code HTML de haute qualité, des paires diagramme-image-code, des questions-réponses Stack Overflow basées sur des images et des questions algorithmiques. Les résultats expérimentaux démontrent que VisCodex offre de bonnes performances lors de multiples évaluations, surpassant les MLLM open source et approchant les performances du modèle d'entreprise leader, GPT-4o.

Lien vers l'article :https://go.hyper.ai/JJtbR

4.DINOv3

Cet article propose un modèle de base visuel auto-supervisé polyvalent, DINOv3, conçu pour générer des caractéristiques denses de haute qualité. Ce modèle offre d'excellentes performances sur une variété de tâches visuelles, surpassant largement les modèles de base auto-supervisés et faiblement supervisés précédents. L'équipe de recherche a également publié la suite de modèles DINOv3, visant à fournir des solutions évolutives pour diverses contraintes de ressources et scénarios de déploiement.

Lien vers l'article :https://go.hyper.ai/lUNDj

5.Llama-Nemotron : modèles de raisonnement efficaces

Cet article présente la famille de modèles Llama-Nemotron, une famille ouverte de modèles d'inférence hétérogènes offrant des capacités et une efficacité d'inférence supérieures, disponibles sous licence ouverte pour une utilisation en entreprise. Cette famille comprend trois tailles : Nano (8 octets), Super (49 octets) et Ultra (253 octets). Leurs performances rivalisent avec celles des modèles d'inférence de pointe, tout en offrant un débit d'inférence et une efficacité mémoire supérieurs.

Lien vers l'article :https://go.hyper.ai/3INVh

Voici l'intégralité du contenu de la recommandation d'article de cette semaine. Pour découvrir d'autres articles de recherche de pointe en IA, veuillez consulter la section « Derniers articles » du site officiel d'hyper.ai.

Nous invitons également les équipes de recherche à nous soumettre des résultats et des articles de haute qualité. Les personnes intéressées peuvent ajouter leur compte WeChat NeuroStar (identifiant WeChat : Hyperai01).

À la semaine prochaine !