ALBERT: 자기 지도 학습을 위한 경량화된 BERT 언어 표현 모델

자연어 표현의 사전 학습 시 모델 크기를 증가시키면 종종 하류 작업에서 성능이 향상됩니다. 그러나 어느 시점에서는 GPU/TPU 메모리 제한과 더 긴 학습 시간으로 인해 추가적인 모델 확장이 어려워집니다. 이러한 문제를 해결하기 위해, 우리는 메모리 소비를 줄이고 BERT의 학습 속도를 높이는 두 가지 매개변수 축소 기술을 제시합니다. 포괄적인 경험적 증거는 우리가 제안한 방법들이 원래의 BERT에 비해 훨씬 더 잘 확장되는 모델로 이|array다는 것을 보여줍니다. 또한, 문장 간 일관성을 모델링하는 데 초점을 맞춘 자기 지도 손실 함수를 사용하여, 다중 문장 입력을 가진 하류 작업에 꾸준히 도움이 된다는 것을 입증하였습니다. 그 결과, 우리의 최고 모델은 BERT-large보다 적은 매개변수를 가지고 있으면서 GLUE, RACE, 및 SQuAD 벤치마크에서 새로운 최고 수준의 결과를 달성하였습니다. 코드와 사전 학습된 모델들은 https://github.com/google-research/ALBERT에서 이용 가능합니다.