LLM Basé Sur Les Premiers Principes, Un Nouveau Paradigme De Formation POET

L'apprentissage reparamétré par transformation d'équivalence orthogonale (POET) est un nouvel algorithme d'apprentissage reparamétré proposé par l'Institut Max Planck (Allemagne) et l'Université chinoise de Hong Kong le 9 juin 2025. Il utilise la transformation d'équivalence orthogonale pour optimiser les neurones. Les résultats de l'article sont les suivants :Formation LLM reparamétrée via une transformation d'équivalence orthogonale".

POET fonctionne en reparamétrant chaque neurone à l'aide de deux matrices orthogonales apprenables et d'une matrice de pondération aléatoire fixe. Comme POET préserve de manière prouvée les propriétés spectrales de la matrice de pondération, il peut optimiser de manière stable la fonction objective et améliorer la généralisation. L'équipe de recherche a développé des méthodes d'approximation efficaces qui rendent POET flexible et évolutif pour l'entraînement de réseaux neuronaux à grande échelle.