Jam-ALT: フォーマットに配慮した歌詞転記ベンチマーク

現在の自動歌詞転記（ALT）ベンチマークは、単語の内容にのみ焦点を当て、書かれた歌詞の細かいニュアンス、フォーマット、句読点などを無視しています。これにより、ミュージシャンや作詞家の創造的な作品とリスナーの体験との間に潜在的なずれが生じる可能性があります。例えば、行の区切りはリズム、感情的な強調、韻踏み、高次の構造などの情報を伝える上で重要です。この問題に対処するために、JamendoLyricsデータセットに基づいた新しい歌詞転記ベンチマークであるJam-ALTを導入します。当研究の貢献は二つあります。第一に、ALT評価に特化した完全な転記の見直しを行い、新たに作成されたアノテーションガイドラインに従って音楽業界の指針を統一しました。このガイドラインでは句読点、行の区切り、綴り、バックボーカル、非言葉音などの側面をカバーしています。第二に、従来の単語誤り率とは異なり、これらの現象を捉えるための一連の評価指標を開発しました。我々は提案するベンチマークがALTタスクに貢献し、転記システムのより正確で信頼性のある評価を可能にするとともに、ライブ字幕やカラオケなどの歌詞アプリケーションにおけるユーザーエクスペリエンス向上につながることを期待しています。