Command Palette
Search for a command to run...
PolyLoss:分類損失関数の多項式展開的アプローチ
PolyLoss:分類損失関数の多項式展開的アプローチ
Zhaoqi Leng Mingxing Tan Chenxi Liu Ekin Dogus Cubuk Xiaojie Shi Shuyang Cheng Dragomir Anguelov
概要
分類問題における深層ニューラルネットワークの学習において、交差エントロピー損失(cross-entropy loss)およびフォーカル損失(focal loss)は最も一般的に用いられる損失関数である。しかし、一般的に言えば、優れた損失関数ははるかに柔軟な形をとることができ、タスクやデータセットに応じて適切に設計されるべきである。テイラー展開による関数近似の考え方に着想を得て、我々は多項式関数の線形結合として損失関数を捉え、設計するためのシンプルなフレームワーク「PolyLoss」を提案する。PolyLossでは、タスクやデータセットに応じて異なる多項式基底の重要度を容易に調整可能であり、前述の交差エントロピー損失およびフォーカル損失を特別なケースとして自然に包含する。広範な実験結果から、PolyLossにおける最適な選択はタスクやデータセットに依存することが明らかになった。単に1つの追加ハイパーパラメータを導入し、コードに1行を追加するだけで、Poly-1の形式は2D画像分類、インスタンスセグメンテーション、物体検出、3D物体検出という複数のタスクにおいて、交差エントロピー損失およびフォーカル損失を上回る性能を発揮しており、場合によっては顕著な差を示す。