다중 작업 사전학습의 힘을 활용하여 진실 수준의 자연어 설명 구현하기

자연어 설명(Natural Language Explanations, NLE)은 최근의 시각-언어 설명(VL-NLE) 모델들이 추구하는 바와 같이, 복잡한 시각-언어 작업에서 신경망의 결정 과정을 직관적으로 이해할 수 있도록 도와줄 가능성을 지닌다. 현재의 모델들은 작업 정확도와 설명의 타당성 측면에서 놀라운 성능을 보이고 있으나, 다양한 문제에 직면해 있다. 일부 모델은 설명 생성 모듈과 작업 답변 예측을 위한 별도의 모듈 간에 약한 통합을 가지는 모듈형 설계를 채택하고 있으며, 제한된 작업 세트에서 학습된 백본 모델을 사용하거나, 특정 데이터셋에서 성능을 높이기 위해 임시방편적인 해결책을 도입하고 있다. 이러한 한계를 극복하기 위해, 생성형 Transformer 모델의 대규모 다중 작업 사전학습( multi-task pretraining)의 최신 발전을 VL-NLE 문제에 적용하는 새로운 접근법을 제안한다. 제안한 방법은 최근의 모델들에 비해 큰 성능 차이를 보이며, 인간 평가자들이 평가한 세 가지 데이터셋 중 두 곳에서 생성된 설명이 실제 정답(ground truth)보다 더 선호되는 결과를 얻었다. VL-NLE 연구의 새로운 도전 과제로서, 다중 작업 VL-NLE 문제를 제안하고, 여러 작업을 함께 학습함으로써 설명의 품질을 향상시킬 수 있음을 보여준다. 또한, 고품질 NLE 생성의 윤리적 함의와 최근 VL-NLE 연구에서 나타나는 기타 문제점들에 대해 논의한다.