Inception Labs stellt Mercury vor: schnelles Codegenerierungsmodell auf Basis von Diffusionsprozessen

Inception Labs präsentiert Mercury: Ein diffusionsbasierter Sprachmodell für ultrschnelle Codegenerierung Das Gebiet der generativen künstlichen Intelligenz hat die Softwareentwicklung erheblich beeinflusst, indem es verschiedene Programmieraufgaben, von einfachen Autovervollständigungen bis hin zu komplexen Softwarelösungen, automatisiert. Traditionelle Sprachmodelle basieren jedoch hauptsächlich auf autoregressiven Methoden, die Token nacheinander vorhersagen. Dies führt zu inhärenten Engpässen und Latenzproblemen, insbesondere in Anwendungen für das Programmieren. Die sequenzielle Generierung von Token begrenzt die Effizienz, was in interaktiven Umgebungen oder Szenarien, die sofortige Reaktionen erfordern, Herausforderungen aufwirft. Obwohl bestehende, auf Geschwindigkeit optimierte Modelle wie GPT-4o und Claude 3.5 Haiku teilweise bessere Leistungen gezeigt haben, bleibt die fundamentale Einschränkung der sequenziellen Token-Generierung bestehen, was einen Paradigmenwechsel zu alternativen Modellierungsansätzen erfordert, die parallele Generierung und erhebliche Latenzreduzierung ermöglichen. Der aktuelle Stand der auf KI basierenden Codier-Assistenten und ihre Geschwindigkeitsbegrenzungen Derzeit setzen die gängigen KI-basierten Codier-Assistenten stark auf autoregressive Transformer-Architekturen. Bekannte Modelle in diesem Bereich, wie GPT-4o Mini, Claude 3.5 Haiku, Gemini 2.0 Flash Lite und Codestral, erzielen beeindruckende Ergebnisse bei standardisierten Codierungsbenchmarks. Dennoch bleibt ihre sequenzielle Natur ein limitierender Faktor für die Geschwindigkeit. Autoregressive Modelle erreichen durchschnittlich eine Durchsatzrate von 50 bis 200 Token pro Sekunde auf modernen GPU-Hardware. Obwohl diese Modelle hochgenau sind, stoßen sie bei hochgradig interaktiven oder latenzkritischen Codierungsaufgaben auf erhebliche Einschränkungen. Einführung von Mercury: Ein diffusionsbasierter LLM für leistungsstarke Codierung Forscher bei Inception Labs haben Mercury, eine bahnbrechende Familie von diffusionsbasierten großen Sprachmodellen (LLM), speziell für Codierungsanwendungen eingeführt. Mercury Coder, das erste Modell dieser Familie, besteht aus zwei unterschiedlichen Varianten: Mercury Coder Mini und Mercury Coder Small. Diese Diffusionsmodelle kombinieren einzigartig transformer-basierte Architekturen mit paralleler Token-Generierung, was die rechnerische Effizienz und den Gesamtdurchsatz erheblich verbessert. Nach unabhängigen Bewertungen durch Artificial Analysis erzielten die Mercury Coder-Modelle außergewöhnliche Leistungsbewertungen. Das Mercury Coder Mini erreichte eine Durchsatzrate von 1.109 Token pro Sekunde, was deutlich schneller ist als die Basismodelle. Mercury Coder Small zeigte ebenfalls beeindruckende Leistungen mit einer Durchsatzrate von 737 Token pro Sekunde, wobei es einen ausgezeichneten Kompromiss zwischen Geschwindigkeit und Codiergenauigkeit bietet. Die Diffusionsmechanik hinter Mercurys paralleler Token-Generierung Mercury-Modelle nutzen Diffusionsprozesse, bei denen Ausgaben iterativ von anfänglichem Zufallslärm in kohärente Daten verfeinert werden. Anders als bei konventionellen Modellen, die Token sequenziell vorhersagen, generieren Mercury-Modelle gleichzeitig mehrere Token in jeder Iteration, was die Nutzung von GPUs erheblich optimiert. Während des Trainings wurden Mercury-Modelle mit Datensätzen trainiert, die aus Billionen von Token stammten, die durch umfangreiche Webcrawls, synthetische Daten und proprietäre Repositories gesammelt wurden. Das Diffusionstrainingprotokoll umfasst einen Vorwärtsprozess, bei dem schrittweise Rauschen zu sauberen Daten hinzugefügt wird, und einen Rückwärtsprozess, der dieses rauschige Daten iterativ entrauscht. Insbesondere verwendet Mercury einen Entrauschungsdiffusionsverlust, der die gleichzeitige Anpassung von Token ermöglicht und die Parallelisierung erhöht. Auch werden in Mercury-Modellen häufig verwendete Prompting-Methoden aus bestehenden autoregressiven Modellen integriert, darunter das Zero-Shot- und Few-Shot-Lernen, um eine nahtlose Integration in etablierte Codierworkflows zu gewährleisten. Benchmark Genauigkeit: Mercury-Modelle überzeugen bei standardisierten Codierungsaufgaben Bei Benchmark-Tests erzielte Mercury Coder Small eine Genauigkeit von 90,0 % im HumanEval-Test, einem standardisierten Python-Codierungsbenchmark, und 76,2 % im MultiPL-E-Benchmark, der über Sprachen wie C++, Java, JavaScript, PHP, Bash und TypeScript geht. Mercury Coder Mini zeigte ebenfalls robuste Leistungen mit 88,0 % im HumanEval-Test und 74,1 % im MultiPL-E-Benchmark. Besonders bemerkenswert ist die Leistung von Mercury Coder Small bei Fill-in-the-Middle-Codierungsaufgaben, die für Autovervollständigungen und interaktives Programmieren entscheidend sind. Hier übertreffen die Modelle bekannte Modelle mit einer durchschnittlichen Genauigkeit von 84,8 %, sogar über spezialisierte, auf Geschwindigkeit optimierte Modelle wie Codestral 2501, die 82,5 % erreichten. Zudem wurden in realen Nutzerevaluierungen über die Copilot Arena-Plattform die Mercury Coder Mini-Modelle insgesamt auf den zweiten Platz bei der Nutzerpräferenz gestellt und zeigten die geringste durchschnittliche Latenz von nur 25 Millisekunden. Zusätzlich demonstrieren die Mercury-Modelle in spezifischen Sprachtests durchgängig exzellente Ergebnisse. Bei detaillierten Evaluierungen erzielte Mercury Coder Small beachtliche Genauigkeiten in verschiedenen Programmiersprachen im MultiPL-E-Benchmark, darunter 82,0 % in C++, 80,1 % in Java, 83,9 % in JavaScript, 78,3 % in PHP, 50,1 % in Bash und 82,6 % in TypeScript. Wichtige Erkenntnisse: Hoher Durchsatz, Genauigkeit und Workflow-Kompatibilität Die Einführung von Mercury markiert einen wichtigen Schritt in der Entwicklung von Sprachmodellen für die Softwareentwicklung. Durch die Kombination von Diffusionsmechaniken und transformer-basierten Architekturen bieten die Mercury-Modelle nicht nur eine erhebliche Geschwindigkeitssteigerung, sondern auch eine hohe Genauigkeit bei standardisierten Codierungsaufgaben. Die Nahtlosigkeit in etablierten Workflows macht diese Modelle zu einer attraktiven Option für Entwickler, die sowohl Effizienz als auch Genauigkeit benötigen. Die Forschungsergebnisse legen nahe, dass Mercury-Modelle den Weg für zukünftige, leistungsfähigere und schneller reagierende Codier-Assistenten ebnen könnten. Industrieinterne Bewertungen und Unternehmensprofile Experten im Bereich der KI und Softwareentwicklung beurteilen die Einführung von Mercury als durchgreifende Innovation, die die Grenzen der bisherigen autoregressiven Modelle deutlich erweitert. Inception Labs, bekannt für seine fortschrittliche Forschung und Entwicklung im Bereich der Künstlichen Intelligenz, hat damit wieder einmal bewiesen, dass es in der Lage ist, technologische Fortschritte zu treiben. Die Firma steht in der Tradition innovativer Technologieunternehmen und ist bekannt für ihre Fähigkeit, komplexe Probleme mit praktischen Lösungen anzugehen. Die potenziellen Anwendungen von Mercury-Modellen reichen von der Optimierung von Entwicklungsumgebungen bis hin zur Automatisierung von komplexen Softwareprojekten, was die Gesamtleistung und Produktivität von Entwicklerteams erheblich steigern könnte.