自然言語処理のタスクにおいて、純粋な強化学習（RL）微調整手法は探索効率の低さや収束の遅さという課題に直面する一方で、教師あり微調整（SFT）手法は学習効率に優れるものの、性能の上限が低く、RLに比べて理論的基盤も弱い。この効率と能力のトレードオフを克服するため、本研究では、SFTの効率性とRLによる能力向上を統一的な学習枠組みで統合する「Guess-Think-Answer（GTA）」フレームワークを提案する。GTAは、モデルがまず交差エントロピー損失によって最適化された仮の回答（仮説）を生成し、その仮説を検討・吟味した後、最終的な回答を出力するというプロセスを経る。この際、RLの報酬は最終出力だけでなく、GTA全体の構造（形式）にも影響を与える。このハイブリッドアプローチにより、純粋なRLよりも高速な収束と、純粋なSFTよりも高い性能上限を両立する。2つの学習信号間の勾配の衝突を軽減するため、損失マスキングと勾配制約を導入する。4つのテキスト分類ベンチマークにおける実証的評価結果から、GTAが収束を顕著に加速するとともに、単独のSFTおよびRLベースラインを上回ることを示した。