17일 전

기계 학습 응용에서 잊혀짐을 방지하기 위한 협의된 표현

Nuri Korhan, Ceren Öner
기계 학습 응용에서 잊혀짐을 방지하기 위한 협의된 표현
초록

기억 상실( catastrophic forgetting)은 신경망을 포함한 기계학습 분야에서 중요한 도전 과제이다. 신경망이 새로운 작업에 대해 잘 학습하게 되면, 이전에 습득한 지식이나 경험을 잊어버리는 현상이 자주 발생한다. 이는 신경망이 새로운 작업의 손실을 최소화하기 위해 가중치와 연결성을 조정함에 따라, 이전 작업에 중요한 표현들을 무의식적으로 덮어쓰거나 방해하기 때문이다. 그 결과, 이전 작업에 대한 모델의 성능이 저하되며, 여러 작업을 순차적으로 학습하고 적응할 수 있는 능력이 제한된다. 본 논문에서는 기계학습 응용, 특히 신경망 분야에서 기존 지식을 유지하면서도 새로운 정보를 효과적으로 학습할 수 있도록 하기 위한 새로운 방법을 제안한다. 제안하는 방법은 여러 작업 간에 지식을 보존하는 동시에 새로운 작업에 적응할 수 있도록 설계되어 있으며, Split MNIST, Split CIFAR10, Split Fashion MNIST, Split CIFAR100 등 다양한 벤치마크 데이터셋을 활용한 실험을 통해 그 효과를 검증하였다. 이러한 데이터셋은 원본 데이터셋을 서로 겹치지 않는 별개의 작업으로 나누어 생성되며, 기존 작업을 잊지 않고 순차적으로 다수의 작업을 학습해야 하는 지속적 학습(continual learning) 시나리오를 모사한다. 제안된 방법은 학습 과정에 협의된 표현(negotiated representations)을 도입함으로써, 과거 경험을 유지하는 것과 새로운 작업에 적응하는 것 사이의 균형을 유지할 수 있도록 한다. 이러한 도전적인 데이터셋에서 제안 방법을 평가함으로써, 기존의 기억 상실 문제를 해결하고 지속적 학습 환경에서 신경망의 성능을 향상시키는 잠재력을 입증하고자 한다.

기계 학습 응용에서 잊혀짐을 방지하기 위한 협의된 표현 | 최신 연구 논문 | HyperAI초신경