HarDNet: 低メモリトラフィックネットワーク

最先端のニューラルネットワークアーキテクチャであるResNet、MobileNet、DenseNetは、低MAC（Multiply-Accumulate Operations）と小型モデルの対応物よりも優れた精度を達成しています。しかし、これらの指標が推論時間を正確に予測するとは限りません。特に高解像度ビデオのリアルタイム物体検出やセマンティックセグメンテーションなどのタスクにおいて、中間特徴マップへのアクセスに伴うメモリトラフィックが推論遅延を支配する要因である可能性があります。私たちは、低MACとメモリトラフィックの両面で高い効率を達成するために、調和的な密結合ネットワーク（Harmonic Densely Connected Network）を提案します。この新しいネットワークは、FC-DenseNet-103、DenseNet-264、ResNet-50、ResNet-152、SSD-VGGと比較して、それぞれ35%、36%、30%、32%、45%の推論時間短縮を達成しています。NvidiaプロファイラやARM Scale-Simなどのツールを使用してメモリトラフィックを測定し、推論遅延が実際にメモリトラフィック消費量に比例することを確認しました。また、提案されたネットワークは低いメモリトラフィックしか消費しないことを確認しました。したがって、エッジでの高解像度アプリケーション向けにニューラルネットワークアーキテクチャを設計する際には、メモリトラフィックを考慮に入れるべきであると結論付けています。