Manifold Mixup: Hidden States를 보간하여 더 나은 표현 얻기

깊은 신경망은 훈련 데이터를 학습하는 데 뛰어나지만, 약간 다른 테스트 예제에서 평가할 때 종종 잘못된 확신을 가지고 예측합니다. 이는 분포 이동, 이상치, 그리고 적대적 예제를 포함합니다. 이러한 문제들을 해결하기 위해, 우리는 신경망이 은닉 표현의 보간에 대해 덜 확신을 가지고 예측하도록 유도하는 간단한 정규화 기법인 매니폴드 믹스업(Manifold Mixup)을 제안합니다. 매니폴드 믹스업은 의미론적 보간을 추가적인 훈련 신호로 활용하여, 여러 수준의 표현에서 결정 경계가 더 부드러운 신경망을 얻습니다. 결과적으로, 매니폴드 믹스업으로 훈련된 신경망은 클래스 표현에 있어 변동 방향이 더 적게 나타납니다. 우리는 왜 이러한 평탄화가 이상적인 조건 하에서 발생하는지 이론적으로 증명하고, 실제 상황에서 이를 검증하며, 정보 이론과 일반화에 관한 이전 연구들과 연결시킵니다. 계산량이 크게 증가하지 않고 몇 줄의 코드로 구현될 수 있는 spite of incurring no significant computation and being implemented in a few lines of code라는 점에도 불구하고, 매니폴드 믹스업은 지도 학습, 단일 단계 적대적 공격에 대한 강건성, 그리고 테스트 로그-우도에서 강력한 베이스라인을 개선합니다.（注：最后一句中的“spite of incurring no significant computation and being implemented in a few lines of code”部分在韩文中重复了，正确的翻译应该是：）불필요한 계산량이 거의 발생하지 않고 몇 줄의 코드로 구현될 수 있다는 점에도 불구하고, 매니폴드 믹스업은 지도 학습, 단일 단계 적대적 공격에 대한 강건성, 그리고 테스트 로그-우도에서 강력한 베이스라인을 개선합니다.