HyperAIHyperAI

Command Palette

Search for a command to run...

Benchmarks
LLM

OpenJev : un modèle de décision IA dans le navigateur

Un projet open source nommé OpenJev démontre désormais qu’il est possible d’exécuter des modèles d’intelligence artificielle décisionnelle directement dans un navigateur web, sans serveur backend ni attente sur liste d’attente. Cette expérience locale vise à prouver que l’inférence de modèles de langage peut être réalisée intégralement sur le matériel de l’utilisateur, via une carte graphique dédiée, tout en préservant la confidentialité des données. Le fonctionnement repose sur le chargement de modèles depuis le dépôt Hugging Face, dont les poids sont stockés dans le cache du navigateur. Les saisies ne quittent jamais l’appareil, garantissant une exécution entièrement privée. Selon la puissance du GPU et la connexion réseau, le premier chargement peut prendre plusieurs minutes. L’utilisateur peut ensuite choisir entre différentes architectures préformées. Le modèle MiniCPM5 2B d’une taille de 1,56 gigaoctets est sélectionné par défaut, tandis que les appareils moins puissants peuvent basculer vers Qwen3 0,6B. Une version plus exigeante mais plus précise, Qwen3.5 4B, est également disponible pour les machines plus récentes. L’outil propose deux méthodes d’inférence pour comparer les résultats. La première lit directement les probabilités de sortie du modèle et les normalise uniquement sur les options proposées par l’utilisateur. La seconde demande au modèle de générer texte par texte une distribution de probabilités au format JSON. Cette deuxième approche permet d’observer chaque token à l’écran et de mesurer précisément le temps d’attente du premier résultat et la vitesse de génération totale. Les deux méthodes s’exécutent séquentiellement sur le même modèle chargé pour éviter toute compétition pour les ressources graphiques. Les performances rapportées montrent une bonne adéquation entre les versions optimisées pour le navigateur et les résultats publiés natifs. Sur des tests standards, Qwen3.5 4B atteint 81,3 % de précision, tandis que sa version sécurisée et perturbée grimpe à 84,5 %. Les modèles plus légers affichent des scores plus modestes mais restent opérationnels sur du matériel grand public. Les développeurs peuvent ainsi évaluer sur leur propre infrastructure le compromis entre taille du modèle, vitesse d’exécution et fiabilité décisionnelle. Cette initiative met en lumière une tendance croissante vers l’exécution locale et hors ligne des intelligences artificielles. En supprimant la dépendance aux API cloud, OpenJev offre aux utilisateurs un contrôle total sur leurs données et les coûts de calcul. Malgré une latence initiale liée au téléchargement des poids et une consommation de ressources GPU significative, l’outil démontre que l’IA décisionnelle peut devenir accessible directement depuis un environnement web standard, sans installation complexe ni transmission de données vers des serveurs externes.

Liens associés