我々は、パノプティックセグメンテーションのための最初のエンドツーエンドモデルであるMaX-DeepLabを提案する。従来のアプローチは、ボックス検出、非最大値抑制（non-maximum suppression）、Thing-Stuffのマージなど、補助的なサブタスクや手動で設計されたコンポーネントに強く依存しているが、これらは領域の専門家によって処理されても、ターゲットタスクを包括的に解決するには至っていない。これに対して、本研究ではマスクトランスフォーマーを用いてクラスラベル付きマスクを直接予測し、二部マッチングを用いたパノプティック品質を意識した損失関数により学習を行う。本モデルのマスクトランスフォーマーは、CNNパスに加えてグローバルメモリパスを導入する二重パス構造を採用しており、任意のCNN層との直接的な通信を可能にしている。その結果、困難なCOCOデータセットにおいてボックスフリーな設定下で7.1%のPQ（Panoptic Quality）向上を達成し、ボックスベースとボックスフリー手法の間の性能ギャップを初めて埋めた。さらに、パラメータ数とM-Addsが類似するDETRに対して、MaX-DeepLabの小型バージョンは3.0%のPQ向上を実現した。また、テスト時増強（test-time augmentation）を用いずに、COCO test-devセットで51.3%のPQという新たなSOTA（State-of-the-Art）を達成した。コードは https://github.com/google-research/deeplab2 にて公開されている。