17日前

EnCLAP++:自動音声キャプション性能最適化のためのEnCLAPフレームワークの分析

Jaeyeon Kim, Minjeon Jeon, Jaeyoon Jung, Sang Hoon Woo, Jinjoo Lee
EnCLAP++:自動音声キャプション性能最適化のためのEnCLAPフレームワークの分析
要約

本研究では、自動音声キャプション分野における最先端モデルであるEnCLAPフレームワークの分析と最適化を目指す。本研究では、音響エンコーダー部の構成を変更した場合の影響を検討し、異なるデータセット規模での事前学習の効果を調査するとともに、再ランキング方式の有効性を検証する。広範な実験および生成キャプションの定量的分析を通じて、元のモデルを大幅に上回る性能を発揮する改良版EnCLAP++を構築した。