HyperAIHyperAI

Command Palette

Search for a command to run...

待つ必要はありません!「思考トークン」の削除が推論効率を向上させる

概要

最近の大規模推論モデルの進歩により、複雑な段階的な推論が可能になりましたが、しばしば過度な思考を引き起こし、冗長で重複した出力を生成して効率性を阻害しています。本研究では、「Wait(待って)」や「Hmm(うーん)」などのトークンによって示される明示的な自己反省が高度な推論に必要かどうかを検討します。私たちはNoWaitという手法を提案します。これは単純でありながら効果的で、推論時にこれらのトークンを抑制することで明示的な自己反省を無効化します。テキスト、視覚、ビデオ推論タスクにおける10つのベンチマークに対する広範な実験結果から、NoWaitは5つのR1スタイルモデルシリーズにおいて思考経路の長さを最大27%〜51%削減することが示されました。これにより、NoWaitは効率性と有用性を保ちつつ多様なモーダル推論を行うためのプラグアンドプレイソリューションとして機能します。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
待つ必要はありません!「思考トークン」の削除が推論効率を向上させる | 記事 | HyperAI超神経