継続学習における選択的に訓練された専門家によるアンサンブル：分割し忘れないこと

クラス増分学習（class-incremental learning）は、モデルの適用範囲を広げる一方で、既に学習した知識を忘れないようにするという利点から、近年注目を集めている。この分野のトレンドの一つとして、複数のモデル（エキスパート）が協調してタスクを処理する「エキスパートの混合（mixture-of-experts）」手法の利用が挙げられる。しかし、従来の手法では、すべてのエキスパートをタスク全体のデータを用いて一度に訓練するため、各エキスパートが記憶の消失（フォーリング）を起こしやすく、計算負荷も増大するという課題がある。この問題を解決するために、本研究では新しいアプローチ「SEED」を提案する。SEEDは、対象となるタスクに対して、最も適した1つのエキスパートのみを選択し、そのエキスパートに対してのみ、該当タスクのデータを用いて微調整（fine-tuning）を行う。この選択は、各エキスパートがそれぞれのクラスをガウス分布で表現し、それらの分布間の類似度に基づいて行われる。その結果、SEEDはエキスパート間の多様性と非均質性を高めつつ、アンサンブル手法としての高い安定性を維持することができる。広範な実験の結果、SEEDはエキスパートのデータに基づく多様化戦略が持続的学習において有効であることを示し、エキスパートフリーな設定において、さまざまなシナリオで最先端の性能を達成することが明らかになった。