RedOne : Révélation de l'entraînement post-formation spécifique au domaine dans les services de réseautage social

En tant que moyen principal de diffusion de l'information moderne, les services de réseaux sociaux (SNS) ont connu une croissance rapide, ce qui a posé des défis importants en matière de gestion du contenu des plateformes et d'amélioration de la qualité des interactions. Récemment, le développement des grands modèles linguistiques (LLMs) a offert des solutions potentielles, mais les études existantes se concentrent sur des tâches isolées, ce qui non seulement entraîne un rendement décroissant de l'échelle des données dans chaque scénario individuel, mais aussi empêche une adaptation flexible à divers contextes réels. Pour relever ces défis, nous présentons RedOne, un modèle linguistique spécialisé dans un domaine conçu pour briser la limite de performance des modèles mono-tâche et établir une base complète pour les SNS. RedOne a été développé grâce à une stratégie d'entraînement en trois phases comprenant une pré-entraînement continu, un ajustement supervisé et une optimisation des préférences, en utilisant un ensemble de données réelles à grande échelle. À travers des expériences approfondies, RedOne maintient d'excellentes capacités générales et réalise une amélioration moyenne de 14,02 % sur 8 tâches principales des SNS et de 7,56 % sur le banc d'évaluation bilingue des SNS, par rapport aux modèles de base. De plus, lors des tests en ligne, RedOne a réduit le taux d'exposition aux contenus nocifs de 11,23 % et amélioré le taux de clics sur les pages après consultation d'une publication de 14,95 % par rapport aux modèles ajustés pour tâches spécifiques. Ces résultats établissent RedOne comme un modèle linguistique robuste et spécialisé dans un domaine pour les SNS, démontrant une excellente généralisation sur diverses tâches et une applicabilité prometteuse dans des scénarios réels.