多くの機械学習アルゴリズムにおいて、大規模なラベルなしデータ上で自己教師学習（self-supervised learning）を実施した後、下流タスクにおいてファインチューニングを行うという手法が一般的である。近年、言語モデリングの分野で新たに提案された「ダイナミック評価（dynamic evaluation）」というアプローチは、推論時において容易に入手可能な真のラベル（ground-truth labels）を用いて、事前に学習されたモデルをさらにファインチューニングすることで、性能を大幅に向上させる。しかし、この手法は推論時に真のラベルが存在しない分類タスクには容易に拡張できない。本研究では、自己学習（self-training）を活用し、モデル自身が生成するクラスバランスを考慮した予測値（擬似ラベル、pseudo-labels）からの損失を逆伝播することで、この課題を解決する。さらに、メタ学習から着想を得たReptileアルゴリズムを採用し、事前学習済みの重みへの誘導バイアス（inductive bias）を組み合わせることで、汎化性能の向上を図る。提案手法は、BERT、Electra、ResNet-50といった標準的なバックボーンモデルにおいて、SQuADおよびNewsQAにおける質問応答、SuperGLUEベンチマークタスク、Ubuntu Dialog corpus v2.0における会話応答選択、MNISTおよびImageNetにおける画像分類など、多様なタスクで性能向上を実現しており、モデルの内部構造を一切変更することなく適用可能である。本手法は従来のアプローチを上回る性能を発揮し、任意の分類器モデルに対して推論時における自己教師学習によるファインチューニングを可能にし、ターゲットドメインへの適応をより効果的に行える。また、本手法は任意のモデルに容易に適用可能であり、オンライン学習および転移学習の設定においても有効である。