Mutarjim: 小規模言語モデルを用いた双方向アラビア語-英語翻訳の進歩

私たちは、双方向アラビア語-英語翻訳用のコンパクトながら強力な言語モデル「ムタルジム（Mutarjim）」を紹介します。大規模な大規模言語モデル（LLMs）は自然言語処理タスク、特に機械翻訳において著しい進歩を遂げていますが、小型のモデルもその有効性を示しています。この洞察に基づき、私たちはアラビア語と英語の両方に特化した言語モデル「クウェイン-1.5B（Kuwain-1.5B）」を基にムタルジムを開発しました。そのサイズは控えめですが、最適化された二段階学習手法と慎重に選別された高品質な学習コーパスにより、複数の既存ベンチマークで大幅に大きなモデルを上回る性能を達成しています。実験結果では、ムタルジムは最大20倍以上の大きさを持つモデルと同等の性能を示し、計算コストや学習要件を大幅に削減しています。また、私たちは既存のアラビア語-英語ベンチマークデータセットにおける制限（ドメインの狭さ、短い文長、英語出力バイアスなど）を克服するために、「タルジャマ-25（Tarjama-25）」という新しいベンチマークを導入します。タルジャマ-25は5,000組の専門家によるレビューを受けた文ペアから構成され、幅広いドメインをカバーしており、より包括的かつバランスの取れた評価フレームワークを提供します。特に注目すべきは、ムタルジムがタルジャマ-25における英語からアラビア語への翻訳タスクで最先端の性能を達成し、GPT-4 miniなどの大幅に大きく且つプロプライエタリなモデルさえも上回っていることです。私たちはタルジャマ-25を公開し、将来の研究とアラビア語-英語翻訳システムの評価方法の向上に貢献することを目指しています。