DFormer: RGBD表現学習の見直しと意味分割への応用

我々はDFormerを提案します。これはRGB-Dセグメンテーションタスクのための転移可能な表現を学習する新しいRGB-D事前学習フレームワークです。DFormerには2つの重要な革新があります：1) これまでの研究がRGB事前学習バックボーンを使用してRGB-D情報を符号化していたのに対し、我々はImageNet-1Kから得られる画像と深度のペアを使用してバックボーンを事前学習します。これにより、DFormerはRGB-D表現を符号化する能力を持ちます；2) DFormerは、RGBと深度情報を符号化するために新規に設計されたビルディングブロックを持つ一連のRGB-Dブロックで構成されています。DFormerは、既存の方法で一般的に見られるが解決されていなかった、RGB事前学習バックボーンによる深度マップ内の3次元幾何関係の不整合な符号化を回避します。我々は軽量なデコーダヘッドを使用して、事前学習済みのDFormerを2つの代表的なRGB-Dタスク、すなわちRGB-DセマンティックセグメンテーションとRGB-Dサリエントオブジェクト検出に対して微調整しました。実験結果は、DFormerが2つのRGB-Dセマンティックセグメンテーションデータセットと5つのRGB-Dサリエントオブジェクト検出データセットにおいて、現行最良手法よりも計算コストを半分以下に削減しながら新たな最先端性能を達成することを示しています。コードは以下のURLから入手可能です：https://github.com/VCIP-RGBD/DFormer