HyperSeg: パッチベースのハイパーネットワークによるリアルタイムセマンティックセグメンテーション

本稿では、エンコーダがデコーダのパラメータ（重み）を生成する新しいリアルタイムのセマンティックセグメンテーションネットワークを提案します。さらに、最大限の適応性を実現するために、各デコーダブロックの重みは空間的に変動します。この目的のために、我々は新たなハイパーネットワークを設計しました。このハイパーネットワークは、高レベルのコンテキスト特徴を抽出するためのネストされたU-Net、各デコーダブロックの重みを消費直前に生成するマルチヘッドの重み生成モジュール（効率的なメモリ利用のために）、そして新規の動的パッチワイズ畳み込みから構成される主ネットワークで構成されています。非伝統的なブロックを使用しているにもかかわらず、当アーキテクチャはリアルタイム性能を達成しています。実行時間と精度のトレードオフに関して、我々はPASCAL VOC 2012（検証セット）およびCityscapesとCamVidでのリアルタイムセマンティックセグメンテーションにおいて最先端（SotA）の結果を超えることができました。コードは以下のURLで公開されています: https://nirkin.com/hyperseg.