インスタンスをクエリとして用いる

最近、クエリベースのオブジェクト検出フレームワークは、従来の最先端オブジェクト検出器と同等の性能を達成している。しかし、こうしたフレームワークを活用してインスタンスセグメンテーションを効果的に行う方法については、依然として未解決の課題である。本論文では、動的マスクヘッドにおける並列的な監視を駆動とするクエリベースのインスタンスセグメンテーション手法であるQueryInst（Instances as Queries）を提案する。QueryInstの鍵となる洞察は、異なる段階間におけるオブジェクトクエリの内在的な1対1対応関係、および同一段階におけるマスクRoI特徴量とオブジェクトクエリ間の1対1対応関係を活用することにある。このアプローチにより、従来の非クエリベースのマルチステージインスタンスセグメンテーション手法に内在する明示的なマルチステージマスクヘッドの接続や、提案領域分布の不整合といった問題を解消することができる。本研究では、COCO、CityScapes、YouTube-VISの3つの難易度の高いベンチマーク上で広範な実験を行い、QueryInstのインスタンスセグメンテーションおよび動画インスタンスセグメンテーション（VIS）における有効性を評価した。具体的には、ResNet-101-FPNをバックボーンとして使用した場合、QueryInstはCOCO test-devでボックスAP 48.1、マスクAP 42.8を達成し、HTCと比較してボックスAPおよびマスクAPともに2ポイント向上しつつ、処理速度は2.4倍高速化した。動画インスタンスセグメンテーションのタスクにおいても、オンラインVISアプローチの中で最高の性能を達成し、速度と精度のバランス（speed-accuracy trade-off）も良好である。コードは以下のURLで公開されている：\url{https://github.com/hustvl/QueryInst}。