AIの評価基準を構築する際、実世界のデータがプライバシー規制やデータ不足のため利用できない分野では、信頼性の高いベンチマークの構築が極めて困難です。特に医療、金融、政府分野では、個人を特定できる情報（PII）の保護が求められ、実データの収集・共有が制限されています。この課題を解決するため、NVIDIAのNeMo Data DesignerとNeMo Evaluatorを活用した、プライバシー保護型の合成データを用いた評価ワークフローが提案されています。 この手法の例として、救急外来での患者の緊急度を評価する「エマージェンシーセバリティインデックス（ESI）」の予測を想定。実際の患者記録を一切使用せず、AIが生成する合成データで数千件の仮想的な看護師のトリアージノートと正解ラベルを短時間で作成。NeMo Data Designerでは、臨床的妥当性を保つため、ESIレベル、症状、患者年齢、書き方のスタイルなどをランダムにサンプリングし、Jinjaテンプレートで構造化されたプロンプトで生成。生成後、専門家を模したAIが「臨床的整合性」と「推論の難易度」を評価し、品質の低いデータを自動除外。 次に、生成された合成データを用いて、NeMo EvaluatorでAIモデルの性能を評価。モデルに仮想のトリアージノートを提示し、ESIレベルを出力させる。正解ラベルと照合する「文字列一致」型の精度メトリクスを設定し、モデルの正確性を自動的に測定。さらに、データを「簡単」「中程度」「複雑」と分類して評価することで、モデルがどのケースで誤りを起こすかの詳細な分析が可能に。 このプロセスにより、開発者は実データを一切使用せずに、医療現場に適した信頼性の高いAI評価ベンチマークを数分から数時間で構築できます。また、CI/CDパイプラインに統合することで、モデルの更新ごとに自動評価が実行され、継続的な品質保証が可能になります。 このアプローチは、医療以外の分野でも応用可能。金融の不正検出や政府の市民サービスAI開発など、プライバシーが重視される領域でのAI評価に革新をもたらします。合成データと自動評価の組み合わせにより、データ制約によるイノベーションの停滞を克服し、安全で信頼できるAIの実装を加速することが可能になります。