重複発話の自動認識は、現在までに非常に困難な課題のままである。人間の言語認識における二モーダル性に着目し、本稿では音声・視覚情報を活用した重複発話認識の可能性について検討する。音声・視覚統合認識（AVSR）システム構築に関連する3つの課題に取り組む。第一に、AVSRシステムの基本的なアーキテクチャ設計、すなわちエンドツーエンド型とハイブリッド型の比較検討を行う。第二に、音声と視覚特徴を堅牢に統合するため、意図的に設計されたモダリティ統合ゲートを導入する。第三に、従来の明示的な発話分離と認識の段階を含むパイプライン型アーキテクチャとは異なり、格子なしMMI（LF-MMI）判別基準を用いて一貫して最適化された、簡潔かつ統合的なAVSRシステムを提案する。提案するLF-MMI時系列遅延ニューラルネットワーク（TDNN）システムは、LRS2データセットにおいて最先端の性能を達成した。LRS2データセットからシミュレートされた重複発話に対する実験結果から、提案システムは音声のみのベースラインLF-MMI-DNNシステムに対して、単語誤り率（WER）の低下において最大29.98%の絶対改善を達成し、より複雑なパイプライン型システムと同等の認識性能を示した。また、特徴統合を用いた従来のAVSRシステムと比較して、WERの低下において4.89%の絶対的な性能向上も確認された。