要約
本稿では、マルチモーダルドキュメント分類のためのサイドチューニングフレームワークの活用を提案する。サイドチューニングは、従来のアプローチに伴う課題を解決するために最近導入されたネットワーク適応手法である。この技術により、微調整（fine-tuning）におけるモデルの硬直性およびカタストロフィックフォーリング（catastrophic forgetting）を実際に克服することが可能となる。提案手法は、既存の深層学習アーキテクチャを活用し、ベースモデルと二つのサイドネットワークからなるタンドム構造をサイドチューニングフレームワークによって統合する。本研究では、ドキュメント分類においてテキストと画像といった異なるデータソースを扱う状況においても、サイドチューニングが効果的に適用可能であることを示す。実験結果から、従来の最先端技術と比較して、ドキュメント分類の精度の限界をさらに押し上げる効果が確認された。