要約
マルチタスク学習は、複数のタスクから学習可能なモデルが、知識の転移という人間の学習の重要な特徴を活用することで、品質と効率の両面で優れた成果を達成できると仮定している。しかし、最先端の機械学習モデルは、各タスクに対して高度にカスタマイズされており、タスク数の拡張ではなく、モデルの規模やデータ量の拡大に依存している。また、マルチタスク学習に時間的側面を加えた継続的学習（continual learning）は、しばしば災難的忘却（catastrophic forgetting）などの一般的な課題の研究に集中しているが、次世代人工知能を構築する上で不可欠な要素として大規模に研究されているわけではない。本研究では、新しいタスクを動的に追加可能な大規模マルチタスクモデルを生成できる進化的手法を提案する。生成されたマルチタスクモデルはスパースに活性化され、タスクベースのルーティング機構を統合しており、モデルの拡張に伴って計算コストが一定に保たれ、各タスク追加に伴うパラメータ増加量も最小限に抑えることが可能である。本手法は、知識の区画化（knowledge compartmentalization）技術を用いることで、災難的忘却や勾配干渉、ネガティブな転移といった一般的な課題に対する耐性を実現している。実証実験により、本手法が69の公開画像分類タスクを同時に処理し、競争的な性能を達成できることを示した。具体的には、CIFAR-10といった競争的なベンチマークにおいて、公開データで訓練された最良のモデルと比較して、相対誤差を15%削減するという、既存の最先端技術を上回る成果を達成した。