要約
本論文では、WebApp1Kベンチマークを用いた16の最先端大規模言語モデル（LLM）の評価結果から得られた知見を提示する。WebApp1Kは、LLMがウェブアプリケーションのコードを生成する能力を評価するためのテストセットとして設計されたものである。評価結果から、すべてのモデルが類似した基盤的な知識を有している一方で、その性能は誤りの発生頻度によって異なっていることが明らかになった。コード行（LOC）と失敗分布の分析を通じて、正しいコードを書くことは誤ったコードを生成するよりもはるかに複雑であることが判明した。さらに、プロンプト工学が特定のケースを除いて誤りを著しく低減する効果を持つとは限らないことも示された。これらの結果は、今後のコーディング用LLMの進展において、モデルの信頼性向上と誤りの最小化に重点を置くべきであることを示唆している。