HyperAI
Command Palette
Search for a command to run...
テストスイート合格率(Test Suite Pass Rate)は、ソフトウェア工学およびコード大規模モデル(Code LLM)の評価における中核指標であり、コード生成や自動プログラム修復(APR)などのタスクの性能を測定するために一般的に用いられる。この指標は、コードが事前に設定されたテストスイートを実行した際に、合格したテストケースが全テストケースに占める割合を集計する(一部のベンチマークでは、全テストに完全に合格したタスクの割合を集計する目的でも用いられる)。これにより、生成または修復された解決策の機能上の完全性と正確性を総合的に評価する。この指標は通常、パーセンテージまたは 0–1 の数値形式で報告され、数値が高いほどコードの実用性が高いことを示し、開発者と研究者が異なるモデルバージョンの実効性を横断的に比較しやすくなる。