LILE: ヒストパトロジー・アーカイブにおけるクロスモーダル情報検索のためのトランスフォーマーを使用した二重注意ネットワーク

近年、多くのアプリケーションで利用可能なデータの量が劇的に増加しています。さらに、複数のモダリティを個別に使用するネットワークの時代は実質的に終わりを迎えています。したがって、双方向クロスモダリティデータ検索を可能にする処理能力は、多くの研究分野や学問領域にとって必須となっています。特に医療分野では、さまざまな種類の画像や報告書だけでなく、分子データなど多様なタイプのデータが存在します。現代の多くの研究では、クロスアテンションを用いて他のモダリティとの関連性が高い画像やテキストの重要な要素を強調し、それらを一致させる試みが行われています。しかし、各モダリティ内の特徴的重要性に関わらず、これらの手法は通常、各モダリティの特徴を同等に扱います。本研究では、自己アテンションを追加的な損失項として提案し、クロスアテンションモジュールに提供される内部表現を豊かにする方法について述べます。この研究は新しい損失項を持つ革新的なアーキテクチャを提案しており、画像とテキストを共通潜在空間で表現するのに役立つことを示しています。MS-COCOおよびARCHという2つのベンチマークデータセットでの実験結果は、提案手法の有効性を証明しています。