SALI: コロノスコピー動画におけるポリープセグメンテーションのための短期アライメントと長期インタラクションネットワーク

大腸内視鏡動画は、直腸がん診断におけるポリープセグメンテーションに豊富な情報を提供します。しかし、内視鏡の高速移動と接写観察により、現在の方法では大きな空間的非連続性と継続的な低品質フレームが発生し、セグメンテーション精度が制限されるという問題があります。この文脈において、我々は隣接する特徴の一貫性を向上させ、信頼性のあるポリープ表現を再構築することで、堅牢なビデオポリープセグメンテーションに焦点を当てています。この目標を達成するために、本論文ではSALIネットワークを提案します。これはShort-term Alignment Module（SAM）とLong-term Interaction Module（LIM）のハイブリッドです。SAMは変形畳み込みを用いて隣接フレームの空間的に整列された特徴を学習し、さらにそれらを調和してより安定した短期的なポリープ表現を捉えます。低品質フレームの場合、LIMは歴史的なポリープ表現を長期記憶バンクとして保存し、後方関係を探求して現在のセグメンテーションのためにより信頼性のあるポリープ特徴を対話的に再構築します。SAMとLIMを組み合わせることで、SALIネットワークは空間的変動と視覚的な手がかりの不足に対して高い堅牢性を示します。大規模なSUNSEGベンチマークでの評価では、SALIネットワークが現行の最先端技術よりも優れていることが確認されました。4つのテストサブセットそれぞれでDice係数が2.1%、2.5%、4.1%および1.9%向上しています。コードは以下のURLから入手できます: https://github.com/Scatteredrain/SALI