17日前

エッジとクラウド間でDNNトレーニングパイプラインのコンテキストに配慮したコンパイル

{Xinbing Wang, Chao Li, Jiayu Xu, Zifan Wang, Liyao Xiang, Dixi Yao}
要約

機械学習の進展により、スマートフォンやウェアラブルデバイス、IoTデバイスを含むエッジデバイスはますます知能化しており、その一方で限られたリソースとの間に衝突が生じつつある。特に、エッジデバイス上でモデルの個人化(personalization)を行うことは困難であり、エッジ端末上でモデルを訓練することは極めてリソース集約的である。本研究では、クラウドの強力な計算能力を活用しつつ、データをエッジ側に留めるという観点から、エッジとクラウドを横断する新しいトレーニングパイプラインを提案する。本設計の主な特徴として、特徴量リプレイ(feature replay)により実現される並列実行、誤差フィードバックによる特徴量圧縮による通信コストの低減、および文脈に応じたデプロイ意思決定エンジン(context-aware deployment decision engine)の導入がある。統合されたシステムとして動作する本パイプラインフレームワークは、トレーニングを著しく高速化するだけでなく、精度の低下や追加のメモリ・エネルギー負荷をほとんど引き起こさない。本システムは、WiFi環境、5G環境、家庭内IoT環境など多様な設定下で、画像/テキスト分類、画像生成などさまざまなトレーニングタスクに対して評価された。実験結果から、本システムは最先端技術と比較して優れた性能を発揮することが示され、環境の変化に柔軟に対応しつつ、その特性を活かして効果的に動作することを実証した。これにより、エッジ・クラウド間のモデルトレーニングにおける実用的かつ効率的なソリューションを提供することが可能となった。

エッジとクラウド間でDNNトレーニングパイプラインのコンテキストに配慮したコンパイル | 最新論文 | HyperAI超神経