ドメイン固有の埋め込みモデルは、一般的なモデルでは対応できない契約書や社内データのような専門的な文脈を理解するために不可欠です。しかし、これまでの微調整プロセスは複雑で専門知識を要し、多大な時間を要する課題がありました。これに対し、NVIDIA は単一の GPU と 1 日未満のトレーニング時間で、ラベル付きデータ不要にドメイン特化型の埋め込みモデルを構築・デプロイできるパイプラインを公開しました。 このアプローチでは、まず NeMo Data Designer を用いてドメイン文書を LLM に読み込ませ、自動的に高品質な合成質問と回答ペアを生成します。このプロセスでは単純な事実確認だけでなく、複数の情報を結びつける多ホップ推論を含む複雑なクエリも作成され、各データは品質スコアに基づいてフィルタリングされます。次に、ハードネガティブマイニングを実行し、似ているが正解ではない文書を選択してモデルに学習させます。これにより、モデルは微妙なドメイン固有のニュアンスを見分ける能力を獲得します。 トレーニングには Llama-Nemotron-Embed-1B-v2 をベースモデルとして使用し、 contrastsive learning を適用します。実証実験では、合成データを用いた結果、NDCG@10 で 10% 以上の改善が確認されました。また、アトラスは自社の JIRA データセットで同様の手法を適用し、単一 GPU で Recall@60 を 26% 向上させることに成功しています。最終段階では、モデルを ONNX や TensorRT に変換し、NVIDIA NIM を介して推論サービスとして公開します。これにより、OpenAI 互換の API を通じて既存の RAG システムへのスムーズな導入が可能になります。 本パイプラインは 6 つのコマンドで完結し、データ生成からデプロイまでを効率化します。数百件のドキュメントからなる小規模な集合でも数時間で完了するため、企業の技術チームが独自のデータセットに適応した検索機能を開発する際の現実的なソリューションとなります。