AI統合型スマートグラス上における超効率的なデバイス内オブジェクト検出：TinyissimoYOLOによる実現

スマートグラスは、先進的な計算技術、高速化されたハードウェアアーキテクチャ、および小型化されたAIアルゴリズムの進展により、急速に高度な機能を獲得しています。しかし、小型のフォームファクタと限られたバッテリー容量を持つスマートグラスにAIを統合する際には、満足のいくユーザーエクスペリエンスを実現するための1日フル稼働を実現することは依然として大きな課題です。本論文では、低消費電力プロセッサを活用した小型機械学習アルゴリズムの設計と実装について述べ、スマートグラスにおける継続的な長時間動作を可能にする手法を示します。特に、リアルタイムオブジェクト検出を想定した場合におけるエネルギー効率とレイテンシの最適化に焦点を当て、研究用プラットフォームとして、2つのマイコンを搭載したスマートグラスのプロトタイプを開発しました。このプロトタイプには、視覚AI用のハードウェアアクセラレータを備えたミリワット級の低消費電力RISC-V並列プロセッサと、通信用のBluetooth低消費電力モジュールが含まれます。また、電源サイクリング機構を統合し、画像および音声のセンシングインターフェースを実装しています。さらに、マイコンベースの推論に最適化された、YOLOに基づくパラメータ数が100万未満の新規小型ディープラーニングモデル群「TinyissimoYOLO v1.3、v5、v8」を提案しました。これらは、スマートグラスにおけるオブジェクト検出のエネルギー効率とレイテンシを評価するためのベンチマークとして設計されています。プロトタイプにおける評価結果から、TinyissimoYOLOは1 inferenceあたり17msの推論レイテンシ、1.59mJのエネルギー消費を達成しつつ、十分な検出精度を維持していることが確認されました。さらに、画像取得からアルゴリズムの予測までのエンドツーエンドレイテンシは56ms（等価なフレームレート：18fps）であり、総消費電力は62.9mWに留まり、154mAhのバッテリーで9.3時間の連続稼働が可能であることが示されました。これらの結果は、より単純なタスク（画像分類）を処理するMCUNet（TinyNAS+TinyEngine）と比較しても優れており、そのフレームレートはわずか7.3fpsにとどまっています。