推論モデルは複雑な問題解決において優れた性能を発揮する一方で、推論能力と指示従従性の間に懸念されるトレードオフが生じている。既存の指示従従性を向上させるアプローチは、より強力な外部モデルに依存しており、これによりメソドロジカルなボトルネックや実用上の制約（コスト増加やアクセス制限など）が生じている。本研究では、推論モデルが内蔵する内部信号を活用して、外部の監視情報なしに指示従従性を向上させる自己教師型強化学習フレームワークを提案する。広範な実験により、本フレームワークが推論性能を維持しつつ指示従従性を顕著に向上させることを示した。本手法はスケーラブルかつコスト効率が高く、推論モデルの指示従従性を強化するための有効なアプローチである。データおよびコードは、https://github.com/Rainier-rq/verl-if にて公開されている。