Multimodale Spezialmodelle mit LFM3 entwickeln

Liquid AI hat die neue Generation seiner Liquid Foundation Models veröffentlicht. Unter dem Namen LFM3 stellt das Unternehmen eine Modellfamilie im Zwei-Milliarden-Parameter-Bereich vor, die Text, Bild, Video, Audio, Omni-Verständnis und kalibrierte Entscheidungsantworten auf einem gemeinsamen Backbone vereint. Kern ist LFM3-1.7B-Base, aus dem sechs spezialisierte Modelle abgeleitet werden. Ziel ist ein kompakter Startpunkt für anwendungsspezifische Intelligenz, die sich mit eigenen Daten auf einer einzigen GPU feinabstimmen und auf Endgeräten, in der Cloud oder in privater Infrastruktur betreiben lässt. Architektonisch unterscheidet sich LFM3 deutlich von der früheren LFM2-Familie. Eine tri-hybride Schichtmischung kombiniert 13 gateste Kurzkonvolutionen mit Kernelgröße 7, fünf Sliding-Window-Attention-Schichten mit 256-Token-Fenster und sechs globale Attention-Schichten. Kopfweise Gated Attention, teilweise RoPE und Sandwich Norm sollen Effizienz, Robustheit bei Quantisierung und Leistungsfähigkeit über lange Kontexte verbessern. Der Backbone wurde mit Hardware-in-the-Loop-Architektursuche für Geräte und Backend-Kombinationen optimiert, darunter Smartphones, Raspberry Pi 5, Laptops, CPUs, GPUs und Qualcomms Hexagon NPU. Nach 22 Billionen Trainings-Tokens erhielt LFM3-1.7B-Base eine weitere Mid-Training-Phase mit 3,5 Billionen kuratierten Tokens, darunter viele agentic Spuren und Tool-Aufrufe. Der Kontext wächst dadurch auf 256.000 Tokens. Liquid AI beziffert den Gewinn deutlich: LFM3-1.7B übertreffe LFM2.5-2.6B bei 35 Prozent weniger Parametern. Auf Edge-Geräten erreiche das Modell bei kurzen Eingaben vergleichbare Qualität pro Parameter zu LFM2-1.2B und arbeite bei 8.000 Tokens Kontext etwa 25 Prozent schneller. Das Textmodell passt bei 4-Bit-Präzision in rund 1 GB Arbeitsspeicher. Die Modellfamilie umfasst LFM3-1.7B für lokale Agenten, Tool Calling und strukturierte Ausgaben, LFM3-VL-2B für visuelle und Video-Verständnis, LFM3-Audio-2B für Sprache, Audio-Verständnis und Sprachsynthese in 18 Sprachen sowie das erste Omni-Modell LFM3-Omni-2B, das Text, Bilder, Video und Audio verarbeitet und zugleich Text und Sprache ausgeben kann. Ergänzend stehen d1-2B und d1-omni-2B bereit, die mehrere Fragen in einem Durchlauf mit kalibrierten Wahrscheinlichkeiten beantworten und etwa Support-Tickets, Rechnungen, App-Oberflächen oder Fotos strukturiert analysieren. In Benchmarks zeigt Liquid AI breite Leistungsfähigkeit: LFM3-VL-2B steigt bei 62 Vision-Aufgaben im Durchschnitt von 57,6 auf 71,4 Punkte und liegt trotz deutlich weniger Parametern auf dem Niveau eines über sechs Mal größeren Modells. LFM3-Omni-2B schlägt bei Audio-Video-Verständnis Modelle mit bis zu 10,7 Milliarden Parametern. Für Sprachqualität gibt Liquid AI bei LFM3-Audio-2B einen UTMOSv2-Wert von 3,83 an; das Omni-Modell erzeugt Sprache über LiquidCodec schneller als Echtzeit, sodass Antworten während der Generierung gesprochen werden können. Alle Modelle sind offen gewichtet auf Hugging Face verfügbar. Die Anbieter sehen den Schwerpunkt nicht auf einem einzigen großen Generalisten, sondern auf kleinen, spezialisierten Modellen, die durch kurzzeitiges Fine-Tuning zu zuverlässigen Domänenexperten werden. Ein Beispiel ist die Weiterentwicklung von LFM3-VL-2B zu Robotikmodellen für Orchestrierung, Navigation und Manipulation; ein gemeinsam trainiertes VLA-Modell erreicht auf LIBERO-Suiten im Schnitt 96,2 Prozent Erfolgsquote und erzeugt Aktionssequenzen auf eingebetteter Hardware in unter 50 Millisekunden.