DexFlyWheelは、2025年9月に北京大学、ハルビン工業大学、PsiBotによって提案され、関連する研究成果は論文「DexFlyWheel: 器用な操作のためのスケーラブルで自己改善的なデータ生成フレームワーク」がNeurIPS 2025のスポットライトに採択されました。

DexFlyWheelは、自己改善ループを用いてデータの多様性を継続的に向上させるスケーラブルなデータ生成フレームワークです。このフレームワークには、人間のような多様なデータを生成するためのIL+残差強化学習（Residual RL）という2つの主要な設計特徴があります。具体的には、ILと残差強化学習をポリシーアンローリングとデータ拡張と組み合わせることで、自己改善ループを形成します。各イテレーションにおいて、ポリシーは軌跡を生成し、それらはより多様なシナリオで強化され、次のイテレーションに入力されます。このループはフライホイール効果を生み出し、データの多様性を徐々に拡大し、ポリシーの一般化能力を高め、堅牢で一般化可能なデータ生成エージェントへと進化します。