11日前

IoTデバイス上の集団推定のための改善されたKnowledge Distillation

{Richard O. Sinnott, Zuo Huang}
要約

現実世界の問題に対して手動による混雑人数推定は不可能であるか、あるいは著しく不正確な推定結果をもたらす。こうした課題に対処するために、深層学習(deep learning)のアプローチが活用されている。混雑人数推定は計算量が非常に大きいタスクであるため、多くのモデルでは高精度を達成するために大規模な深層畳み込みニューラルネットワーク(CNN)が採用されている。しかし、このようなアプローチは性能や推論速度に大きなコストを伴うことが多く、実世界の環境、特にIoT(モノのインターネット)デバイス上での適用を困難にしている。この問題に対処するため、モデルの圧縮としてプリューニングや量子化、あるいは軽量なモデルバックボーンの利用が検討されている。しかしながら、こうした手法はしばしば精度の大幅な低下を引き起こす。これを改善するために、一部の研究では、最先端の(教師モデル)大規模モデルから有用な情報を抽出し、それを小型(生徒モデル)モデルの学習を導くために知識蒸留(knowledge distillation)手法が用いられている。しかし、知識蒸留手法には、ヒント変換器(hint-transformers)によって引き起こされる情報損失という課題があり、また教師モデルが生徒モデルに悪影響を与える場合もある。本研究では、自己変換ヒント(self-transformed hints)と外れ値を無視する損失関数を用いる知識蒸留に基づく新しい手法を提案する。これにより、JHU-CROWD++ [1] テストセットを用いてMAE(平均絶対誤差)77.24、MSE(平均二乗誤差)276.17を達成した。これは最先端の深層混雑人数推定モデルと同等の性能を実現しつつ、元のモデルサイズおよび複雑さの一部にまで削減可能であり、IoTデバイス向けの実用的ソリューションとして適している。本研究のソースコードは、https://github.com/huangzuo/effcc_distilled にて公開されている。

IoTデバイス上の集団推定のための改善されたKnowledge Distillation | 最新論文 | HyperAI超神経