UniRef++：空間的・時間的空間における参照オブジェクトをすべてセグメントする

参照ベースのオブジェクトセグメンテーションタスク、すなわち参照画像セグメンテーション（RIS）、少サンプル画像セグメンテーション（FSS）、参照動画オブジェクトセグメンテーション（RVOS）、および動画オブジェクトセグメンテーション（VOS）は、言語的記述またはアノテーション済みマスクを参照として用いて、特定のオブジェクトをセグメントすることを目的としています。各分野において顕著な進展が見られますが、現行の手法はそれぞれのタスクに特化して設計・開発されており、異なる方向性に進展しているため、これらのタスク間でのマルチタスク機能の活用が妨げられています。本研究では、こうした分断された状況に終止符を打ち、単一のアーキテクチャにより4つの参照ベースオブジェクトセグメンテーションタスクを統一するUniRef++を提案します。本手法の核となるのは、タスクごとの参照に応じて異なる処理を実現するマルチウェイ融合（multiway-fusion）を実行するUniFusionモジュールです。さらに、インスタンスレベルのセグメンテーションを達成するために、統一されたTransformerアーキテクチャを採用しています。統一された設計により、UniRef++は広範なベンチマーク上で共同学習が可能であり、実行時において対応する参照を指定することで、柔軟に複数のタスクを実行できます。我々は、さまざまなベンチマーク上で提案モデルの性能を評価した結果、RISおよびRVOSにおいて最先端の性能を達成しており、FSSおよびVOSにおいてもパラメータ共有ネットワークを用いて競争力ある結果を示しました。さらに、提案するUniFusionモジュールが既存の最先端の基礎モデルSAM（Segment Anything Model）に容易に統合可能であり、パラメータ効率的なファインチューニングにより良好な結果を得られることを示しました。コードおよびモデルは、\url{https://github.com/FoundationVision/UniRef}にて公開されています。