HyperAIHyperAI

Command Palette

Search for a command to run...

Glisser-Déposer les LLM : Passez des Prompts aux Poids sans Supervision Préalable

Résumé

Les méthodes modernes de réglage fin efficace en termes de paramètres (PEFT) telles que l'adaptation de rang faible (LoRA) réduisent le coût d'adaptation des grands modèles linguistiques (LLMs), mais nécessitent encore une optimisation distincte pour chaque jeu de données en aval. Nous présentons \textbf{Drag-and-Drop LLMs (\textit{DnD})}, un générateur de paramètres conditionné par les invites qui élimine l'entraînement spécifique à chaque tâche en mappant directement un petit nombre d'invites non étiquetées aux mises à jour des poids LoRA. Un encodeur textuel léger distille chaque lot d'invites en plongements conditionnels, qui sont ensuite transformés par un décodeur hyper-convolutif en cascade en l'ensemble complet des matrices LoRA. Une fois entraîné sur une collection diversifiée de paires invite-point de contrôle, DnD produit des paramètres spécifiques à la tâche en quelques secondes, offrant i) jusqu'à \textbf{12 000 fois} moins de surcoût que le réglage fin complet, ii) des gains moyens allant jusqu'à \textbf{30%} en performance par rapport aux LoRA les mieux entraînés sur des benchmarks inédits de raisonnement communautaire, mathématiques, codage et multimodaux, et iii) une généralisation robuste inter-domaines malgré l'absence d'exposition aux données cibles ou aux étiquettes. Nos résultats montrent que la génération de paramètres conditionnée par les invites est une alternative viable à l'adaptation basée sur les gradients pour spécialiser rapidement les LLMs. Notre projet est disponible à \href{https://jerryliang24.github.io/DnD}{https://jerryliang24.github.io/DnD}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Glisser-Déposer les LLM : Passez des Prompts aux Poids sans Supervision Préalable | Articles | HyperAI