드롭아웃의 한계를 확장하다

우리는 드롭아웃 훈련이 원래의 드롭아웃 목적 함수로 하위 경계가 설정된 조건부 모델들의 가족에 대해 동시 MAP 추정을 수행하는 것으로 가장 잘 이해될 수 있음을 보여줍니다. 이 발견은 훈련 후 이 가족에서 임의의 모델을 선택할 수 있게 해주며, 이는 정규화 중심의 언어 모델링에서 상당한 개선을 가져옵니다. 이 가족에는 샘플링된 드롭아웃 마스크들에 대한 거듭제곱 평균을 계산하는 모델들과, 완전히 확률적인 드롭아웃 목적 함수보다 더 빡빡하고 높은 하위 경계를 갖는 덜 확률적인 하위 변형들이 포함됩니다. 우리는 결정론적 하위 변형의 경계가 그 목적 함수와 같으며, 이러한 모델들 중 가장 높다는 점을 근거로, 이를 MC 평균화에 대한 좋은 근사치로 보는 주류 관점이 잘못되었다고 주장합니다. 오히려, 결정론적 드롭아웃은 진정한 목적 함수에 대한 최상의 가능한 근사치입니다.