2ヶ月前

SplitEE: 深層ニューラルネットワークにおける分割計算による早期終了

Divya J. Bajpai; Vivek K. Trivedi; Sohan L. Yadav; Manjesh K. Hanawal
SplitEE: 深層ニューラルネットワークにおける分割計算による早期終了
要約

深層ニューラルネットワーク(DNN)は、様々なタスクにおいて優れた性能を発揮することから注目を集めています。しかし、フルスケールのDNNをリソースに制約のあるデバイス(エッジ、モバイル、IoT)に展開することは、その大規模さゆえに困難です。この問題を解決するために、最終的な推論のために計算の一部をクラウドにオフロードする(分割計算)や、すべての層を通らず中間層で推論を行う(早期終了)などのアプローチが検討されています。本研究では、これらの両方のアプローチを組み合わせて分割計算における早期終了を使用することを提案します。当方針では、デバイス上でどの程度の深さまでDNNの計算を行うか(分割層)、そしてサンプルがこの層で終了できるかクラウドへのオフロードが必要か否かを決定します。これらの決定は、精度、計算コスト、通信コストの重み付けされた組み合わせに基づいて行われます。私たちは最適なポリシーを学習するためのアルゴリズムSplitEEを開発しました。事前学習されたDNNはしばしば新しい領域に展開されますが、その場合真値が利用できないことが多く、サンプルはストリーミング形式で到着します。SplitEEはオンラインかつ教師なし設定で動作します。私たちは5つの異なるデータセットに対して広範な実験を行いました。SplitEEは最終層での推論と比較して大幅なコスト削減(>50%)を達成し、精度低下は僅かなもの(<2%)でした。匿名化されたソースコードは\url{https://anonymous.4open.science/r/SplitEE_M-B989/README.md}から入手可能です。ご確認いただければ幸いです。何か修正点がありましたらお知らせください。

SplitEE: 深層ニューラルネットワークにおける分割計算による早期終了 | 最新論文 | HyperAI超神経