Rick Chen Joseph Ternasky Afriyie Samuel Kwesi Ben Griffin Aaron Ontoyin Yin et al

要約

SWE-benchやARC-AGIといったベンチマークは、共有データセットが人工一般知能（AGI）への進展をどのように加速させるかを示している。本研究では、信号が希薄で、結果の不確実性が高く、トップの投資家ですら限定的なパフォーマンスにとどまるという、ベンチャーキャピタル（VC）分野における起業家成功の予測を目的とした、世界初のベンチマーク「VCBench」を紹介する。初期段階において、マーケットインデックスの精度は1.9％にとどまる。Y Combinatorはインデックスを1.7倍、Tier-1企業は2.9倍の精度を達成する。VCBenchは、予測に有効な特徴を保持しつつ、個人識別情報の漏洩リスクを抑えるために標準化された、9,000件の匿名化された起業家プロフィールを提供する。敵対的テストにより、再識別リスクが90％以上削減されることが確認された。本研究では、最先端の大規模言語モデル（LLM）9種を評価した結果、DeepSeek-V3はベースライン精度を6倍以上上回り、GPT-4oがF0.5において最高のスコアを記録した。また、多数のモデルが人間のベンチマークを上回った。VCBenchは、このhttp URLで公開され、継続的に進化する公共资源として設計されており、初期段階のベンチャーフォーカスにおけるAGI評価の再現可能性とプライバシー保護を実現する、コミュニティ主導の基準を確立するものである。