Jeff optimise Qwen3.5 et Gemma 4 pour la classification
Un nouveau projet open source nommé Jeff, développé par la communauté technique, propose des versions optimisées des modèles Qwen3.5 et Gemma 4 dédiées à la classification par zéro apprentissage. Conçus pour s'intégrer directement dans des applications locales, ces modèles légers permettent de prendre des décisions rapides et calibrées sans générer de texte. En décrivant simplement une situation et les options possibles, le système renvoie une probabilité pour chaque choix en une seule passe d'inférence, tout en respectant le format d'interface de Jev. La force de Jeff réside dans sa vitesse et son empreinte mémoire réduite. Sur un processeur graphique NVIDIA RTX PRO 6000 ou une puce Apple M4 Max, les modèles affichent des temps de réponse compris entre 22 et 60 millisecondes par décision. Les versions disponibles pèsent entre 1,7 et 9,3 gigaoctets, ce qui les rend accessibles sur du matériel grand public sans nécessiter de cloud ou de serveurs coûteux. Le projet a été conçu pour fonctionner exclusivement en local, avec un entraînement réalisé entièrement sur des données synthétiques générées par des modèles ouverts, afin d'éviter toute dépendance à des API propriétaires. Les tests sur plusieurs benchmarks publics montrent que Jeff rivalise avec des modèles bien plus volumineux dans les tâches de classification et d'ancrage contextuel, atteignant parfois des scores supérieurs. En revanche, comme le prévoient les spécialistes, ses performances restent inférieures sur les épreuves nécessitant un raisonnement complexe, en raison de sa taille réduite. Cette limitation est compensée par une grande flexibilité : un ajustement fin sur un jeu de données spécifique peut considérablement améliorer la précision, comme l'ont démontré des tests sur la navigation vocale où l'exactitude est passée de 31,7 à 95,8 pour cent en quelques minutes. Pour évaluer les capacités en situation réelle, les développeurs ont soumis Jeff à des tests de jeux vidéo où le modèle doit choisir des actions légales sans connaître la réponse optimale. Les résultats confirment une bonne adaptation en mode zéro apprentissage, avec des temps de décision inférieurs à 50 millisecondes par tour sur puce Apple, bien plus rapides que les solutions basées sur des appels réseau. Le code et les poids des modèles sont publiés sous licences MIT et Apache 2.0. Le projet, basé sur la recette open source AutoJev, fournit également les scripts nécessaires pour reproduire l'entraînement, filtrer les fuites de données et calibrer les probabilités. En démocratisant l'inférence décisionnelle rapide et locale, Jeff répond à un besoin croissant des développeurs cherchant à intégrer des mécanismes de choix automatisés dans leurs logiciels, tout en préservant la confidentialité et en réduisant la consommation énergétique.
