Jeff finetunt Qwen3.5 & Gemma4 für Zero-Shot-Klassifikation

Ein unabhängiges Entwicklerteam hat das Projekt Jeff veröffentlicht, eine Sammlung feinabgestimmter Small-Language-Modelle für effiziente Zero-Shot-Klassifizierung. Basierend auf Qwen3.5 und Gemma 4 bietet Jeff eine ressourcenschonende Alternative zu generativen KI-Systemen, indem es Entscheidungen innerhalb eines einzigen Modell-Durchlaufs trifft und kalibrierte Wahrscheinlichkeiten für textuell beschriebene Optionen zurückgibt. Zur Verfügung stehen die Varianten Jeff-Qwen3.5-0,8B, Jeff-Qwen3.5-2B sowie Jeff-Gemma4-E2B. Die Architektur zeichnet sich durch minimale Latenz aus. Auf High-End-Hardware wie der NVIDIA RTX PRO 6000 oder einem Apple M4 Max benötigen die Modelle lediglich 22 bis 29 Millisekunden pro Abfrage. Das vollständige Training verläuft ausschließlich lokal und transparent. Synthetische Trainingsdaten wurden allein mit offenen Modellen generiert, auf Cloud-GPUs wurde während des Finetunings verzichtet. Der Trainingsworkflow leitet sich von der open-source AutoJev-Pipeline ab, erweitert diese jedoch um einen Leckagefilter, automatisierte Learning-Rate-Sweeps und domänenspezifische Prompt-Layouts. In Benchmarktests zur Klassifizierung und Grounding schneiden die Jeff-Modelle vergleichbar bis überlegen zu deutlich größeren Architekturen wie dem AutoJev-27B ab. Bei komplexen Reasoning-Aufgaben wie BBH oder JudgeBench bleiben die kleinen Modelle aufgrund ihrer Parameterzahl hinter den Referenzmodellen zurück. Für spezifische Einsatzgebiete empfiehlt sich ein kurzes, domänenspezifisches Nachtrainieren, das die Genauigkeit nach Entwicklerangaben bereits in unter 30 Minuten signifikant steigert. Praktisch einsetzbar ist Jeff in Systemen, die schnelle, deterministische Entscheidungen ohne Textgenerierung erfordern, etwa in Support-Routings, Moderationspipelines, Intent-Erkennung oder Echtzeit-Gaming-Logik. Das Projekt nutzt exakt dasselbe Anforderungsformat wie das kommerzielle Tool Jev, unterhält jedoch keine organisatorische Verbindung zu dessen Entwickler TypeSafe. Quellcode steht unter der MIT-Lizenz, die Modellgewichte dürfen gemäß Apache 2.0 genutzt werden. Mit Jeff stellt die Community eine vollständig lokal ausführbare Lösung bereit, die spezialisierte Entscheidungsfunktionen nahtlos in bestehende Codebasen integrierbar macht und die Abhängigkeit von proprietären API-Schnittstellen reduziert.