AIコーディングツール、経験豊富な開発者の生産性向上には限界か 経験豊富な開発者がAIコーディングツールを使用しても、必ずしも効率が上がるわけではないという新研究が発表されました。非営利AI研究グループMETRが行った試験では、AI工具を使用した場合、開発者のタスク完了時間が逆に19%増加しました。これは、AIが複雑なコードベースでの作業に適していない可能性を示唆しています。

AIコーディングツール、必ずしも開発者の生産性を向上させないという研究 近年、AIに基づくコーディングツールが開発者のワークフローを大きく変革しています。これらのツールは、自動的にコードを書いたり、バグを修正したり、変更のテストを行うことで、効率性の向上を約束しています。CursorやGitHub Copilotなどのツールは、OpenAI、Google DeepMind、Anthropic、xAIから開発された高度なAIモデルによって支えられており、最近の性能向上には目を見張るものがあります。 しかし、非営利AI研究団体METRが木曜日に発表した新しい研究によると、経験豊富な開発者にとって、これらのAIコーディングツールの効果は疑問視されています。 METRは、16人のオープンソース開発者を募集し、彼らが通常貢献している大規模なコードリポジトリで246つの実際のタスクを完了させるランダム化比較試験を行いました。研究者は、半分のタスクには最新のAIコーディングツール（Cursor Proなど）を使用を許可し、残りのタスクでは使用を禁止しました。 開発者らは、AIコーディングツールを使用することで作業時間が24%減少すると予測しました。しかし、実際にはAIを使用した方が19%慢化し、作業時間が延びました。 「驚くべきことに、AIを使用することで完了時間が増加し、開発者はAIツールを使用したときに遅くなることがわかりました」と研究者は述べています。 本研究の開発者のうち半数以上（56%）はCursorを以前に使用した経験がなく、大多数（94%）は他のウェブベースの言語モデルをコードのワークフローで使用した経験がありました。研究の準備として、開発者たちはCursorの使い方を学んでいました。 それでも、METRの研究結果は、2025年に謳われているAIコーディングツールによる生産性向上の普遍性に対する疑問を投げかけています。「vibe coders」（主に自然言語を処理するAIコーディングツール）がすぐにワークフローを高速化するとは限らないということです。 AIが開発者の速度を落ticsせた理由として、研究者たちは以下のような点を挙げています： 1. 開発者がAIとの対話や応答待ちに多くの時間を費やすこと。 2. 大規模かつ複雑なコードベースでのAIの性能低下。 研究の著者たちは、これらの結果から強い結論を引き出すことに慎重で、現在のAIシステムが多くのソフトウェア開発者を遅らせるとは考えていないと明言します。他の大規模な研究では、AIコーディングツールが開発者のワークフローを加速することが示されています。 また、AIの進歩はここ数年で著しく、同じ結果が数ヶ月後にも得られるとは期待していないと著者たちは述べています。METRは、最近のAIコーディングツールの長期間タスク完成能力の向上も報告しています。 それでも、この研究はAIコーディングツールの利点への懐疑心を強めています。他の研究でも、今日のAIコーディングツールがミスを導入したり、場合によってはセキュリティ漏洞を生じることが明らかになっています。 これらの結果を受け、開発者はAIコーディングツールの即時的な効果に過度に期待する一方で、慎重な評価が必要であることを認識すべきです。