SeamlessM4T: 大規模多言語・多モーダル機械翻訳
バベルフィッシュというツールを作成するには何が必要でしょうか？このツールは、任意の2つの言語間での音声翻訳を個人に提供します。最近のテキストベースモデルの進歩により、機械翻訳の対応言語数が200を超えるようになりましたが、統合された音声対音声翻訳モデルはまだ同様の進展を遂げていません。特に、従来の音声対音声翻訳システムは段階的な処理を行うカスケードシステムに依存しており、高性能な統合システムの実現が困難となっています。これらの課題に対処するために、私たちはSeamlessM4Tを導入します。これは最大100言語までをサポートし、音声対音声翻訳、音声対テキスト翻訳、テキスト対音声翻訳、テキスト対テキスト翻訳、および自動音声認識を一元化した単一モデルです。このモデル構築のために、100万時間分のオープンソース音声データを使用してw2v-BERT 2.0による自己監督型音声表現を学習しました。その後、自動的にアライメントされた音声翻訳からなるマルチモーダルコーパスを作成しました。人間によるラベリングデータと疑似ラベリングデータをフィルタリングし結合することで、英語への両方向（音声とテキスト）での翻訳が可能な最初の多言語システムを開発しました。FLEURSにおいて、SeamlessM4Tは複数の目標言語への翻訳で新しい基準を設定し、直接的な音声対テキスト翻訳において前回の最先端技術（SOTA）よりも20% BLEUスコア向上を達成しています。強力なカスケードモデルと比較すると、SeamlessM4Tは音声対テキストで英語への翻訳品質を1.3 BLEUポイント向上させ、また音声対音声では2.6 ASR-BLEUポイント向上させています。堅牢性テストでは、現在の最先端モデルよりも背景ノイズや話者変動に対する耐性が高く評価されました。重要な点として、私たちはSeamlessM4Tについてジェンダーバイアスと毒性追加（toxicity）を評価し、翻訳安全性を確認しました。最後に、本研究におけるすべての貢献はオープンソース化され、「https://github.com/facebookresearch/seamless_communication」からアクセス可能です。