応答選択は、検索ベースの会話システムの構築において重要な役割を果たします。応答選択は本来、学習順位付け問題であるにもかかわらず、これまでの多くの研究では点ごとの視点を取り、このタスクのために二値分類器を訓練してきました。つまり、各応答候補は関連（1）または非関連（0）とラベル付けされます。一方で、この形式化は応答品質の多様性を無視することから最適でない場合があります。他方で、学習順位付けにグレースケールデータを注釈することは非常に高コストかつ困難です。本研究では、人間の労力を必要とせずに自動的にグレースケールデータを構築する方法を示します。当該手法では、既存の応答検索モデルと応答生成モデルを使用して自動的なグレースケールデータジェネレーターとして機能させます。構築されたグレースケールデータを使用して、（1）マッチングモデルがより細かいコンテキスト-応答の関連性差異を捉えることを教えることと（2）ディストラクター強度に関する訓練-テスト間の一貫性を向上させるためのマルチレベル順位付け目的関数を提案します。当該手法は単純でありながら効果的で普遍的です。3つのベンチマークデータセットと4つの最先端マッチングモデルでの実験結果は、提案手法が有意かつ一貫した性能向上をもたらすことを示しています。