기본 원칙에 기반한 LLM, 새로운 교육 패러다임 POET

직교 동치 변환을 통한 재매개변수화 학습(POET)은 독일 막스 플랑크 연구소와 홍콩 중국 대학교에서 2025년 6월 9일 제안한 새로운 재매개변수화 학습 알고리즘입니다. 이 알고리즘은 직교 동치 변환을 사용하여 뉴런을 최적화합니다. 관련 논문 결과는 다음과 같습니다.직교 동등성 변환을 통한 재매개변수화된 LLM 학습".

POET은 두 개의 학습 가능한 직교 행렬과 하나의 고정된 랜덤 가중치 행렬을 사용하여 각 뉴런을 재매개변수화하는 방식으로 작동합니다. POET는 가중치 행렬의 스펙트럼 특성을 증명 가능하게 보존하기 때문에 목적 함수를 안정적으로 최적화하고 일반화를 향상시킬 수 있습니다. 연구팀은 POET를 대규모 신경망 학습에 유연하고 확장 가능하게 만드는 효율적인 근사 방법을 개발했습니다.