Command Palette
Search for a command to run...
기본 원칙에 기반한 LLM, 새로운 교육 패러다임 POET
날짜
직교 동치 변환을 통한 재매개변수화 학습(POET)은 독일 막스 플랑크 연구소와 홍콩 중국 대학교에서 2025년 6월 9일 제안한 새로운 재매개변수화 학습 알고리즘입니다. 이 알고리즘은 직교 동치 변환을 사용하여 뉴런을 최적화합니다. 관련 논문 결과는 다음과 같습니다.직교 동등성 변환을 통한 재매개변수화된 LLM 학습".
POET은 두 개의 학습 가능한 직교 행렬과 하나의 고정된 랜덤 가중치 행렬을 사용하여 각 뉴런을 재매개변수화하는 방식으로 작동합니다. POET는 가중치 행렬의 스펙트럼 특성을 증명 가능하게 보존하기 때문에 목적 함수를 안정적으로 최적화하고 일반화를 향상시킬 수 있습니다. 연구팀은 POET를 대규모 신경망 학습에 유연하고 확장 가능하게 만드는 효율적인 근사 방법을 개발했습니다.