HyperAIHyperAI

Command Palette

Search for a command to run...

RoadFormer: RGB-通常変換器を用いた意味的道路上シーン解析の二重トランスフォーマー

Jiahang Li, Graduate Student Member, IEEE, Yikang Zhang, Graduate Student Member, IEEE, Peng Yun, Guangliang Zhou, Qijun Chen, Senior Member, IEEE, Rui Fan, Senior Member, IEEE

概要

最近の深層畳み込みニューラルネットワーク(DCNN)の進歩は、道路シーン解析分野において著しい可能性を示しています。しかし、既存の研究は主に自由空間検出に焦点を当てており、運転の安全性や快適性を損なう可能性のある危険な道路欠陥に対する注意が十分に払われていません。本論文では、新しいTransformerベースのデータ融合ネットワークであるRoadFormerを紹介します。RoadFormerは二重エンコーダー構造を使用して、RGB画像と表面法線情報から異なる種類の特徴を抽出します。これらのエンコードされた特徴は、次に新規開発された異種特徴シナジー・ブロックで効果的に融合および再調整されます。ピクセルデコーダーはその後、融合され再調整された異種特徴から多尺度の長距離依存関係を学習し、最終的な意味予測を生成するためにTransformerデコーダーによって処理されます。さらに、我々はSYN-UDTIRIという大規模な道路シーン解析データセットを公開します。これは初めての大規模データセットで、10,407枚以上のRGB画像、密集深度画像、および自由空間と異なる形状やサイズの道路欠陥に対応するピクセルレベルのアノテーションを含んでいます。SYN-UDTIRIデータセットでの広範な実験評価だけでなく、KITTI road, CityScapes, ORFDなどの3つの公開データセットでも行われた評価により、RoadFormerが他の最先端ネットワークよりも優れた性能を示すことが確認されました。特に、RoadFormerはKITTI roadベンチマークで首位に立っています。我々のソースコード、作成したデータセット、およびデモ動画はmias.group/RoadFormerで公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
RoadFormer: RGB-通常変換器を用いた意味的道路上シーン解析の二重トランスフォーマー | 記事 | HyperAI超神経