2ヶ月前
光適応に90Kパラメータだけが必要:画像強化と露出補正のための軽量トランスフォーマー
Cui, Ziteng ; Li, Kunchang ; Gu, Lin ; Su, Shenghan ; Gao, Peng ; Jiang, Zhengkai ; Qiao, Yu ; Harada, Tatsuya

要約
実世界における困難な照明条件(低照度、露出不足、露出過多)は、不快な視覚的な外観だけでなく、コンピュータビジョンのタスクにも悪影響を及ぼします。カメラがRAW-RGBデータを取得した後、画像信号プロセッサ(ISP)を使用して標準的なsRGB画像を生成します。ISPパイプラインを局所的および全体的な画像成分に分解することにより、私たちは低照度や露出不足/過多の条件下から通常の照明状態のsRGB画像を復元するための軽量で高速な照明適応トランスフォーマー(Illumination Adaptive Transformer: IAT)を提案します。特に、IATはアテンションクエリを使用して色補正やガンマ補正などのISP関連パラメータを表現し、調整します。約9万パラメータと約0.004秒の処理速度で、私たちのIATは現在のベンチマーク低照度強化および露出補正データセットにおいてSOTA(State of the Art)を超える一貫した性能を達成しています。競合する実験結果も示しており、さまざまな照明条件下での物体検出や意味分割タスクが大幅に向上することが確認されています。学習コードと事前学習済みモデルは以下のURLから入手可能です。https://github.com/cuiziteng/Illumination-Adaptive-Transformer.