Command Palette
Search for a command to run...
torchdistill:モジュール型で構成駆動型の知識蒸留フレームワーク
torchdistill:モジュール型で構成駆動型の知識蒸留フレームワーク
Yoshitomo Matsubara
概要
知識蒸留(知識転送)は研究コミュニティにおいて注目を集めているが、近年の分野の進展に伴い、高品質で再現可能な深層学習研究を促進するため、再現性の高い研究や汎用性の高いフレームワークの必要性が高まっている。いくつかの研究者が、自身の知識蒸留研究で使用したフレームワークを自主的に公開し、他の研究者が元の研究成果を再現できるように支援している。しかし、こうしたフレームワークは通常、汎用性が低く、メンテナンスも不十分であるため、新しい手法やモデル、データセットの導入、実験設計を行うために、研究者自身が多数のコードを記述・再構成する必要がある。本論文では、PyTorchを基盤として構築され、知識蒸留研究に特化したオープンソースフレームワークを紹介する。本フレームワークは、宣言型のPyYAML設定ファイルにより実験を設計できるように設計されており、最近提案されたMLコード完全性チェックリスト(ML Code Completeness Checklist)の達成を支援する。開発したフレームワークを用いて、さまざまな効率的な学習戦略を実証し、多様な知識蒸留手法を実装した。また、ICLR、NeurIPS、CVPR、ECCVなどの主要な機械学習会議で発表されたImageNetおよびCOCOデータセット上の実験結果の一部を再現し、最新の最先端手法も含む。すべてのソースコード、設定ファイル、ログファイル、および学習済みモデルの重みは、https://github.com/yoshitomo-matsubara/torchdistill にて公開されている。