要約
大規模なデータセットとして広く知られるImageNetなどの既存データセットは、画像理解の進展に大きく貢献してきたが、これらの多くは膨大な手動ラベル付けを必要としており、スケーラビリティに課題がある。この制約は、画像理解技術の発展を制限している。このような大規模データセットの影響は、画像認識のほぼすべてのタスクおよび技術において、初期化のための事前学習（pre-training）という形で顕在化している。本研究では、任意の意味的RGBセグメンテーション手法に適用可能な、スケーラビリティに優れ、自己教師付き（self-supervised）な事前学習手法を提案する。特に、本手法は深度センサを用いて自動的に生成可能なラベル——「HNラベル」と呼ぶ——を活用する。HNラベルは、異なる高さ（height）と法線（normal）のパッチを表しており、意味的RGBセグメンテーションタスクに有用な局所的な意味情報の抽出を可能にする。本研究では、ImageNet事前学習に代わる形で、HNラベルを用いた自己教師付き事前学習が実現可能であることを示す。この手法では、ImageNet学習に比べて25分の1の画像数で済み、かつ手動ラベルの必要がない。また、HNラベルによる事前学習は、最終タスクである意味的セグメンテーションとより類似したタスクに基づくため、ImageNetによる分類タスクのような関連性の低いタスクでの事前学習よりも、より適切な初期化を可能にする。本手法はNYUv2およびCamVidの2つのデータセット上で評価され、タスクの類似性が事前学習プロセスの高速化に寄与するだけでなく、ImageNet事前学習よりも高い最終的な意味的セグメンテーション精度を達成できることを実証した。