私たちは、転移学習と機械指導を用いて大規模にタスクボットを構築する新しい手法SOLOISTを提案します。古典的なモジュール式タスク指向対話システムを、トランスフォーマーに基づく自己回帰言語モデルを使用してパラメータ化し、異なる対話モジュールを単一のニューラルモデルに統合します。多様な対話コーパス上で事前学習を行い、ユーザーの目標と実世界の知識に基づいた対話応答を生成できるタスク基盤型応答生成モデルを開発しました。この事前学習済みモデルは、人間教師がシステムと相互作用することで生成される少数のタスク固有の対話を通じて、効率的に新しいタスクへの適応が可能です。実験結果は以下の通りです。(i) SOLOISTはCamRest676やMultiWOZなどのよく研究されているタスク指向対話ベンチマークで新たな最先端の成果を達成しています；(ii) 少数ショットファインチューニング設定において、SOLOISTは既存の手法を大幅に上回っています；(iii) 機械指導の利用により、ファインチューニングにおけるラベリングコストが大幅に削減されています。事前学習済みモデルとコードはhttps://aka.ms/soloist から入手可能です。