9日前

クラスあたり12 mJのデバイス内オンライン少サンプルクラス増分学習

Yoga Esa Wibowo, Cristian Cioflan, Thorir Mar Ingolfsson, Michael Hersche, Leo Zhao, Abbas Rahimi, Luca Benini
クラスあたり12 mJのデバイス内オンライン少サンプルクラス増分学習
要約

少数ショットクラス増分学習(FSCIL)は、機械学習システムが過去に学習したクラスを忘却することなく、新たなクラスに対する推論能力を、わずかなラベル付き例のみを用いて拡張することを可能にする。従来のバックプロパゲーションに基づく学習法およびその派生手法は、極限エッジにおけるバッテリー駆動・メモリ制約の厳しいシステムではしばしば不適切である。本研究では、事前学習済みかつメタ学習された特徴抽出器と、クラスプロトタイプを格納する拡張可能な明示的メモリから構成される軽量モデルに基づき、オンライン少数ショットクラス増分学習(O-FSCIL)を提案する。このアーキテクチャは、新規の特徴直交性正則化を用いた事前学習と、マルチマージン損失を用いたメタ学習によって訓練される。新たなクラスを学習する際、本手法は明示的メモリに新たなクラスプロトタイプを追加する一方で、残りのアーキテクチャは固定されたままとする。これにより、一度のパス(オンライン)でわずかな例に基づき、これまでに見ていなかったクラスを学習可能となる。O-FSCILはFSCIL CIFAR100ベンチマークにおいて平均68.62%の精度を達成し、最先端の性能を実現した。超低消費電力プラットフォームに特化した本手法は、60 mWのGAP9マイコン上で実装され、1クラスあたりわずか12 mJのエネルギーでオンライン学習が可能であることが実証された。