2달 전

Cutout을 활용한 합성곱 신경망의 정규화 개선

Terrance DeVries; Graham W. Taylor
Cutout을 활용한 합성곱 신경망의 정규화 개선
초록

컨벌루션 신경망은 복잡한 학습 과제를 해결하기 위해 필요한 강력한 표현 공간을 학습할 수 있습니다. 그러나 이러한 표현을 포착하기 위해 필요한 모델 용량 때문에, 종종 과적합에 취약하며 따라서 일반화 성능을 높이기 위해 적절한 정규화가 필요합니다. 본 논문에서는 훈련 중 입력의 사각 영역을 무작위로 마스킹하는 간단한 정규화 기법, 이를 '컷아웃'이라고 부르는 방법이 컨벌루션 신경망의鲁棒性和整体性能有所提升的作用进行了展示. 이 방법은 구현이 매우 쉽다는 점뿐만 아니라, 기존의 데이터 증강 방식과 다른 정규화 기법과 함께 사용하여 모델 성능을 더욱 개선할 수 있음을 보여줍니다. 우리는 CIFAR-10, CIFAR-100, 그리고 SVHN 데이터셋에 현재 최신 아키텍처를 적용하여 이 방법을 평가하였으며, 각각 2.56%, 15.20%, 1.30%의 테스트 오류율이라는 새로운 최고 결과를 얻었습니다. 코드는 https://github.com/uoguelph-mlrg/Cutout 에서 제공됩니다.注:在翻译“鲁棒性”时,我使用了韩语中的“내성”来表示。如果需要保持英文术语,可以将其翻译为“robustness”并在后面加上(鲁棒性)以确保信息完整。因此,根据您的偏好,可以选择以下两种版本之一:내성을 향상시키고 전체 성능을 개선하는 역할을 합니다.robustness (魯棒性)를 향상시키고 전체 성능을 개선하는 역할을 합니다.以下是调整后的翻译:컨벌루션 신경망은 복잡한 학습 과제를 해결하기 위해 필요한 강력한 표현 공간을 학습할 수 있습니다. 그러나 이러한 표현을 포착하기 위해 필요한 모델 용량 때문에, 종종 과적합에 취약하며 따라서 일반화 성능을 높이기 위해 적절한 정규화가 필요합니다. 본 논문에서는 훈련 중 입력의 사각 영역을 무작위로 마스킹하는 간단한 정규화 기법, 이를 '컷아웃'이라고 부르는 방법이 컨벌루션 신경망의 내성을 향상시키고 전체 성능을 개선하는 역할을 한다는 것을 보여줍니다. 이 방법은 구현이 매우 쉽다는 점뿐만 아니라, 기존의 데이터 증강 방식과 다른 정규화 기법과 함께 사용하여 모델 성능을 더욱 개선할 수 있음을 입증하였습니다. 우리는 CIFAR-10, CIFAR-100, 그리고 SVHN 데이터셋에 현재 최신 아키텍처를 적용하여 이 방법을 평가하였으며, 각각 2.56%, 15.20%, 1.30%의 테스트 오류율이라는 새로운 최고 결과를 얻었습니다. 코드는 https://github.com/uoguelph-mlrg/Cutout 에서 제공됩니다.如果您希望保留“鲁棒性”的英文术语,请选择以下版本:컨벌루션 신경망은 복잡한 학습 과제를 해결하기 위해 필요한 강력한 표현 공간을 학습할 수 있습니다. 그러나 이러한 표현을 포착하기 위해 필요한 모델 용량 때문에, 종종 과적합에 취약하며 따라서 일반화 성능을 높이기 위해 적절한 정규화가 필요합니다. 본 논문에서는 훈련 중 입력의 사각 영역을 무작위로 마스킹하는 간단한 정규화 기법, 이를 '컷아웃'이라고 부르는 방법이 컨벌루션 신경망의 robustness (鲁棒性)를 향상시키고 전체 성능을 개선하는 역할을 한다는 것을 보여줍니다. 이 방법은 구현이 매우 쉽다는 점뿐만 아니라, 기존의 데이터 증강 방식과 다른 정규화 기법과 함께 사용하여 모델 성능을 더욱 개선할 수 있음을 입증하였습니다. 우리는 CIFAR-10, CIFAR-100, 그리고 SVHN 데이터셋에 현재 최신 아키텍처를 적용하여 이 방법을 평가하였으며, 각각 2.56%, 15.20%, 1.30%의 테스트 오류율이라는 새로운 최고 결과를 얻었습니다. 코드는 https://github.com/uoguelph-mlrg/Cutout 에서 제공됩니다.