第一原理に基づく法学修士課程、新しいトレーニングパラダイムPOET

直交同値変換による再パラメータ化学習（POET）は、ドイツのマックス・プランク研究所と香港中文大学によって2025年6月9日に提案された、新しい再パラメータ化学習アルゴリズムです。このアルゴリズムは、直交同値変換を用いてニューロンを最適化します。関連論文の結果は以下のとおりです。直交同値変換による再パラメータ化LLMトレーニング”。

POETは、2つの学習可能な直交行列と固定のランダム重み行列を用いて各ニューロンを再パラメータ化することで機能します。POETは重み行列のスペクトル特性を証明可能な形で保存するため、目的関数を安定的に最適化し、汎化性能を向上させることができます。研究チームは、大規模ニューラルネットワークの学習においてPOETを柔軟かつスケーラブルにする効率的な近似手法を開発しました。