HyperAI
Command Palette
Search for a command to run...
Few-Shot Task Pass Rate(少ショットタスク通過率)は、大規模モデルおよび推論分野におけるプロンプトエンジニアリングタスクの重要な評価指標です。少ショットプロンプト下でのタスク通過割合を指し、少ショットプロンプト能力を測定します。これは、モデルが少数の例からタスクパターンを学習する能力を反映しています。一般的にパーセンテージまたは0~1のスコアで報告されます。この指標は関連するベンチマークや論文で広く使用されており、モデルが当該次元で示すパフォーマンスを効果的に反映します。数値が高いほど良いです。研究者やエンジニアが、プロンプトエンジニアリングのシナリオにおけるモデルの実際の性能差を定量化し、異なる手法やモデルバージョンを横断的に比較するのに役立ちます。