UNA signifie Unified Alignment Framework, un nouveau cadre d'alignement proposé par une équipe de recherche de Salesforce et de l'Université de Xiamen. Les résultats pertinents de l'article sontUNA : Alignements unificateurs de RLHF/PPO, DPO et KTO par une fonction de récompense implicite généralisée".

L'idée centrale de l'UNA est d'unifier différentes techniques d'alignement, notamment RLHF/PPO, DPO et KTO, via une fonction de récompense implicite généralisée. La nouveauté de cette approche est qu’elle fusionne ces techniques d’alignement dans un problème d’apprentissage supervisé visant à minimiser la différence entre les récompenses implicites et explicites.

L’UNA a été proposée pour répondre à certaines limites des techniques d’alignement existantes. Par exemple, RLHF nécessite de former le modèle de récompense et la politique séparément, ce qui est complexe, prend du temps, nécessite beaucoup de mémoire et est instable pendant la formation. Bien que DPO propose une relation de mappage entre la stratégie optimale et la récompense et simplifie le processus de formation de RLHF, il ne peut pas utiliser pleinement le modèle de récompense et est limité aux données de préférence appariées. L'UNA prouve mathématiquement que, étant donné un objectif RLHF classique, la politique optimale peut être induite par une fonction de récompense implicite généralisée. Ce nouveau mappage permet à UNA de simplifier RLHF/PPO tout en stabilisant, accélérant et réduisant la charge mémoire du processus de réglage fin RL, et de prendre en charge différents types de rétroaction, notamment la rétroaction par paires, binaire et scalaire.