HyperAI

NVIDIA Deep Learning Institute (DLI)がGTC Parisで新しいハンズオンワークショップ「Adding New Knowledge to LLMs」を開催しています。このワークショップは開発者がオープンソースLLMを特定のドメインに特化し、真に多言語化したAI資産へと変容させるためのスキルを習得できるように設計されています。多言語モデル評価の重要性現存する多くの多言語モデルは主に英語でトレーニングされているため、非英語話者の使用では精度の低下や文化的なニュアンスの欠如、公平性の問題が生じることがあります。たとえば、ユーロペアンの多くが第二言語として英語を使用していますが、何百万もの人々が母国語での対話を好むという調査があります。一方、Llama 2のようなモデルは非英語データで全体の5%以下しか学習していないため、真の多言語対応を達成するにはより深いモデルアダプテーションが必要です。多言語モデルのトレーニングと評価における課題多言語モデルのトレーニングと評価には以下の課題があります：断片的なベンチマーク：24のEU諸言語とさらなる地域変種をカバーする一貫したデータセットが存在しません。現存するセットはタスクの設計や指標が異なるため、スコアを比較するのが難しいです。翻訳アーティファクト：多くのベンチマークが英語から機械翻訳されたものであり、不自然な表現が結果を歪めます。タスクの偏り：選択肢や分類のタスクが主体で、要約やオープンエンド型QAなどのジェネレーティブタスクが足りません。しかし、後者こそ現実世界の使用例で重要な役割を果たします。メトリックの罠：BLEUやROUGEといった表面的なメトリックは、正しい単語順変更を罰します（例：「市場は今日は開いています」vs「今日、市場は開いています」）。複数の異なるメトリクスを単一の値に集約すると、バイアスが増幅されます。包括的な語学力：真正な流暢さには文法、語彙、文化的素養、ドメイン知識、ディスクール、バイアス、タイムリーさ、方言の違い、文字処理、長期的一貫性など、少なくとも10の次元が必要ですが、現在のテストはそれらの一部しかカバーしていません。 NVIDIA DLIワークショップ：「Adding New Knowledge to LLMs」タスク1：システム評価とデータセット作成：NVIDIA NeMo Evaluatorを使用して、カスタム評価ベンチマークを作成し、LLMの専門領域における理解力や多言語性能の限界を正確に識別します。具体的なニーズに合ったメトリックの定義も学びます。タスク2：高度なデータキュレーション：NVIDIA NeMo Curatorを使って最先端のデータ清掃と準備パイプラインを実装し、高品質なデータセットを作成します。これには特定のドメイン固有の情報と多様な語学内容の統合手法も含まれます。タスク3：標的化された知識注入：新しい知識や機能を効果的に注入するためのさまざまな強力な適応技術を身につけます。これにより、モデルの専門性と世界的影響力を大幅に向上させることができます。タスク4：ドメインと言語特化のためのモデル最適化：NVIDIA NeMo Model OptimizerとNVIDIA TensorRT-LLMを使用して、推論コストを劇的に削減し、オペレーション効率を向上させます。同時に、特定のドメイン課題での高性能と、低リソース言語を含むすべての標的言語にわたる強固な機能を維持することも重要です。このワークショップを修了することで、特定のドメイン要件に特化し、真に多言語化されたAIシステムの開発、展開、運用ができるようになります。これらのシステムは、グローバルな視点からより正確で、関連性が高く、文化的にも共鳴する体験を提供できます。実際の影響 NVIDIAは世界中の組織と連携して、堅牢な多言語能力を持つ改善されたデータセットとモデルを開発しています。例えば、Barcelona Supercomputing Centreとの協力により、言語特化タスクの精度が大幅に向上しました。また、EuroLLMとのパートナーシップにより、24のEU公用語すべてをサポートし、質問応答、要約、翻訳などの多言語市場におけるタスクを得意とする強力な多言語AIモデルEuroLLM 9B Instructが開発されました。参加を呼びかける GTC Parisから始まる、ドメイン特化型および多言語化AIへのマスターの旅に参加しましょう。手軽に経験することを望む方は、「Adding New Knowledge to LLMs」ワークショップに席を予約しましょう。さらに詳しい関連セッションをチェックしたい方は、以下のセッションもおすすめです： - Sovereign AI in Practice：Building, Evaluating, and Scaling Multilingual LLMs [CWEP1103] - Building and Customizing AI Models for European Applications：From Foundation to Fine-Tuning [GP1046] これらのセッションでは、EUの独自の文化、経済、社会の構造に適合した自律的なLLMの構築と評価に関する戦略的フレームワークや、具体的なアプリケーションについて、BSCやEuroLLM、ThinkDeepなどの欧州の主要モデラーからの洞察を得られます。

Related Links