人工知能（AGI）への過剰な期待が、実際の技術開発を妨げていると、技術者としての視点から批判する声が広がっている。著書『AI帝国』（Karen Hao）を読んだ著者によれば、OpenAIの関係者たちはAGIの実現を現実の目標と捉えており、その成功が人類の存亡を分けると信じている。エロン・マスクは、DeepMindのデミス・ハサビスを「悪の天才」として描き、自らのAI開発機関OpenAIを「善」の側に置く構図を明確にした。2004年のゲーム『Evil Genius』を例に挙げ、ハサビスが「世界を支配するAI」を創出しようとしていると主張し、Googleのラリー・ペイジが無関心であると非難した。 同社の共同創業者・最高科学者であるイリヤ・サツケーバー氏も、2022年9月の社内合宿で、AGIの「実感」を求める場面を演出。火で燃やす木像を用いて、AIが一見善に見えても本質は偽善であるとし、その破壊を使命と定義した。このように、AGIはSFの幻想からシリコンバレーの主流の信念にまで進化した。 この信念は、GPT-2の成功を契機に、言語だけを学ばせればAGIが自然に生まれるという「純言語仮説」の信奉に根ざしている。しかし、この仮説は、世界を「知覚」する必要があるという「接地仮説」と対立する。 AGIへの期待は、無制限のスケーリングを正当化し、毎秒数百リットルの水を消費するデータセンターの建設、電力不足を補うための汚染性ガス発電機の使用、大規模なCO2排出、そしてAIの出力管理のために人間のデータ作業者を搾取する状況を生み出した。訓練データは、もはや選別されず、インターネット全体を「ありのまま」収集。RLHF（人間のフィードバックによる強化学習）で出力を制御するという、人間と環境への負担を無視したアプローチが続いている。 こうしたリスクを無視し、AGIの期待値（EV）が「巨大」であると主張するが、その確率と価値は仮定にすぎず、検証不可能。一方、環境破壊のコストは明確で、現実に広がっている。 技術者としての立場から、AGIの幻想を捨て、LLMを「すべての問題の解決策」とせず、目的に応じた小規模な生成モデルや、生成しない判別型モデルの活用を提唱。効果的・効率的・安全な「本物の工学」を実現するためには、現実の制約とトレードオフを正しく評価する必要がある。