Command Palette
Search for a command to run...
RedOne 2.0 : Repenser l'entraînement postérieur des grands modèles linguistiques spécifiques à un domaine dans les services de réseaux sociaux

Résumé
En tant que support essentiel de l’interaction humaine et de l’échange d’information, les services de réseaux sociaux (SNS) posent des défis particuliers aux grands modèles linguistiques (LLM) : charges de travail hétérogènes, normes et argot en constante évolution, ainsi que des corpus multilingues et culturellement diversifiés entraînant des décalages de distribution marqués. La mise au point supervisée (SFT) permet de spécialiser les modèles, mais elle déclenche souvent un « effet balancier » entre les gains en précision sur les données d’origine et la robustesse en dehors de celles-ci, particulièrement pour les modèles de petite taille. Pour relever ces défis, nous introduisons RedOne 2.0, un LLM spécifiquement conçu pour les SNS, entraîné selon un paradigme post-entraînement progressif et priorisé par apprentissage par renforcement (RL), visant une adaptation rapide et stable. Ce pipeline se déroule en trois étapes : (1) apprentissage exploratoire sur des corpus de SNS soigneusement sélectionnés, permettant d’établir une première alignement et d’identifier les faiblesses systématiques ; (2) mise au point ciblée, qui applique de manière sélective la SFT aux lacunes diagnostiquées tout en intégrant une faible proportion de données générales afin de limiter l’oubli ; (3) apprentissage de raffinement, qui réapplique l’RL à l’aide de signaux centrés sur les SNS pour consolider les améliorations et harmoniser les compromis entre les différentes tâches. Sur diverses tâches couvrant trois catégories, notre modèle à échelle 4B obtient une amélioration moyenne d’environ 2,41 par rapport à une base 7B sous-optimale. En outre, RedOne 2.0 réalise une hausse moyenne de performance d’environ 8,74 par rapport au modèle de base, avec moins de la moitié des données nécessaires à la méthode SFT-centrée RedOne, démontrant ainsi une efficacité et une stabilité supérieures à l’échelle réduite. Globalement, RedOne 2.0 établit une référence compétitive et rentable pour les LLM spécialisés dans les scénarios de SNS, améliorant les performances sans sacrifier la robustesse.
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.