二値ネットワークの改善された訓練手法について - 人間の姿勢推定と画像認識への応用

大規模データセットで訓練された大きなニューラルネットワークは、多くの難問に対して最先端の性能を大幅に向上させています。しかし、メモリ容量が低く、計算能力が制限されている場合、同じ問題に対する精度は大幅に低下します。本論文では、特徴量と重みの両方がバイナリ（二値）であるバイナリ化ニューラルネットワークの精度を大幅に向上させる一連の技術を提案します。これらの改善手法を2つの異なるタスク、すなわち細かい認識（ヒューマンポーズ推定）と大規模画像認識（ImageNet分類）で評価しました。具体的には、(a)より適切な活性化関数、(b)逆順初期化、(c)段階的量子化、(d)ネットワークスタックという一連の新しい方法論的な変更を導入し、これらの追加が既存の最先端のネットワークバイナリ化技術を大幅に向上させることを示しています。さらに、初めてネットワークバイナリ化と知識蒸留がどの程度組み合わせられるかについて調査を行いました。挑戦的なMPIIデータセットでのテストでは、我々の手法は絶対的に4%以上の性能向上を示しました。最後に、提案した手法の大規模物体認識への適用についてImageNetデータセットで検証し、エラーレートが4%減少することを報告しています。