パノプティックセグメンテーション手法は、入力された各ピクセルに既知のクラスを割り当てます。最新のアプローチですら、学習カテゴリ外のオブジェクトに対しては、必然的に誤った予測を引き起こすような判断を強いることになります。しかし、安全性が求められる環境では、分布外のサンプルや極端なケースに対するロバスト性が不可欠であり、危険な結果を回避するためには、それらの状況に対処できる能力が求められます。現実世界のデータセットは、潜在的な分布の長尾部分を十分にサンプリングするのに十分なデータポイントを含んでいないため、モデルは未観測かつ未知のシナリオに対応できる能力も必要です。これまでの手法は、既に観測済みのラベルなしオブジェクトを再識別することでこの課題に取り組んできました。本研究では、それを拡張するための必須ステップとして、「ホリスティックセグメンテーション」と呼ばれる新たな設定を提案します。ホリスティックセグメンテーションは、既知のクラスに対するパノプティックセグメンテーションを実施しつつ、事前にそれらのカテゴリについての知識なしに、未観測かつ未知のカテゴリのオブジェクトを個体ごとに識別・分離することを目的としています。この新規な課題に対して、U3HSを提案します。U3HSは、未知のオブジェクトを高い不確実性領域として検出し、それに対応するインスタンス感知埋め込みをクラスタリングして個々のオブジェクトに分離します。これにより、未知オブジェクトを含むパノプティックセグメンテーションの分野において、初めて未知カテゴリを前提とせずに学習が可能となり、仮定を最小限に抑え、現実のシナリオに最も近い非制約的な状況を実現しました。MS COCO、Cityscapes、Lost&Foundの公開データセットを用いた広範な実験により、この新規で挑戦的かつ仮定のない設定、すなわちホリスティックセグメンテーションにおいてU3HSの有効性が示されました。プロジェクトページ：https://holisticseg.github.io