本論文では、多目的追跡の一般的なタスクを多目的追跡とセグメンテーション（MOTS）に拡張しています。この目標に向けて、半自動アノテーション手順を使用して、既存の2つの追跡データセットに対して高密度のピクセルレベルのアノテーションを作成しました。新しいアノテーションには、10,870枚のビデオフレームで977個の異なる物体（車と歩行者）に対する65,213個のピクセルマスクが含まれています。評価のために、既存の多目的追跡指標をこの新しいタスクに拡張しました。さらに、検出、追跡、セグメンテーションを単一の畳み込みニューラルネットワークで同時に行う新しいベースライン手法を提案します。当社のデータセットを使用して訓練することで性能向上が達成されたことを示し、その有用性を実証しています。私たちは、2Dバウンディングボックスを超えた多目的追跡手法を開発する上で、これらのデータセット、指標およびベースラインが貴重なリソースになると確信しています。アノテーション、コードおよびモデルは https://www.vision.rwth-aachen.de/page/mots で公開されています。