視覚・言語・行動（Vision-Language-Action, VLA）モデルは、汎用的なロボット操作に高い可能性を示しているが、専門家の示範に依存するため、失敗からの学習や自己修正が困難である。強化学習（Reinforcement Learning, RL）は、物理環境との自己改善型の相互作用によってこの課題を克服するが、実ロボット上では高いサンプル効率の課題に直面する。本研究では、実環境との直接的な相互作用を必要とせずに、オンポリシーVLA RLを実現する原理的な枠組み「世界モデルに基づく方策最適化（World-Model-based Policy Optimization, WMPO）」を提案する。広く用いられる潜在空間世界モデルとは異なり、WMPOは、ウェブスケールの画像で事前学習されたVLA特徴と整合性を持つピクセルベースの予測に注目する。特に、WMPOは方策がオンポリシーのGRPO（Generalized Reinforcement Policy Optimization）を実行可能とし、従来よく用いられるオフポリシー手法よりも強力な性能を発揮する。シミュレーションおよび実ロボット環境における広範な実験により、WMPOが（i）著しくサンプル効率を向上させ、（ii）優れた総合的性能を達成し、（iii）自己修正を含むEmergent（出現的）な行動を示し、（iv）堅牢な汎化能力および生涯学習（lifelong learning）の可能性を示すことが確認された。