AI時代のソフトウェア開発において、「AIエンジニアリング」と「評価（evals）」が新たな開発の層として浮上している。多くの開発者が経験するように、AI開発の現場では従来のソフトウェア工学（SWE）に加え、モデルの活用、プロンプト設計、RAGパイプライン構築、API連携といった新しい課題が重なり合う。実際、OpenAIやAnthropicのような研究機関を除き、多くのチームは自前でモデルを訓練するのではなく、既存のモデルをビジネス課題に応じて組み合わせて使う。つまり、AIエンジニアリングは「AIを組み込んだソフトウェア工学」であり、AIそのものよりも「どう使うか」が本質的な課題である。 AIアプリケーションは、3つの層で構成される：1）アプリケーション開発、2）モデル開発、3）インフラ。多くのチームはまず上位層のアプリ開発から始めるが、本質的な課題は、変更がもたらす意図しない副作用を早期に検出できる「評価」の仕組みを構築することにある。 ソフトウェア開発におけるテストがリグレッションを防ぐのと同様、AI開発における評価は、プロンプトの変更やRAGの更新、ファインチューニングなどによる性能の低下を検出するための鍵となる。しかし、AIの評価は難しく、明確な正解が存在しないタスクが多く、モデルの内部構造がブラックボックスであるため、出力の品質を正確に判断するのは困難だ。 評価は大きく分けて、定量的と定性的に分けられる。定量的評価は、数学の正解やコードの実行結果など、明確な正誤が判断できるもの。一方、定性的評価は、文章の自然さ、チャットボットのトーン、要約の質など、主観的な判断が必要な領域。これらはAI自身が「Judge」として評価を自動化できるよう設計できる。例えば、複数のAIジャッジを用いてスコアを平均化することで、人間の評価に近い信頼性を得られる。 さらに、評価駆動開発（eval-driven development）という考え方がある。開発前に「成功とは何か」「どう測るか」を定義することで、開発の方向性を明確にし、無駄な変更を防ぐ。特に重要なのは、正しさだけでなく、実用性（実行時間、リソース消費）、安全性（機密情報漏洩やプロンプトインジェクション対策）、一貫性（ローカル・グローバル両方の事実チェック）も評価に含めることだ。 AIの進化が進む中、評価は単なる品質保証の手段ではなく、信頼性とスピードの両立を可能にする「ガードレール」である。開発者は、AIの可能性に惑わされず、評価という視点を軸に、実際の価値を実現する開発を進める必要がある。