SocialIQA: 사회적 상호작용에 대한 상식적 추론

우리는 사회 상황에 대한 상식적 추론을 평가하기 위한 첫 번째 대규모 벤치마크인 Social IQa를 소개합니다. Social IQa는 일상적인 다양한 상황에서 감정적 및 사회적 지능을 탐색하기 위한 38,000개의 다중 선택 질문을 포함하고 있습니다(예: Q: "조던은 트레이시에게 비밀을 말하고 싶어 했으므로 조던이 트레이시에게 몸을 기울였습니다. 조던이 그렇게 한 이유는 무엇일까요?" A: "다른 사람이 듣지 못하게 하기 위해서").크라우드소싱을 통해 우리는 사회적 상호작용에 관한 상식적인 질문과 함께 올바르고 잘못된 답변들을 수집하였습니다. 이 과정에서 새로운 프레임워크를 사용하여 작업자들에게 다른 관련 질문의 올바른 답변을 제공하도록 요청함으로써 잘못된 답변에서 스타일적 요소를 완화하는 데 초점을 맞추었습니다. 경험적 결과는 사전 학습된 언어 모델 기반의 기존 질문-답변 모델들이 인간의 성능과 비교하여 우리의 벤치마크를 처리하는 데 어려움이 있음을 보여줍니다(20% 이상의 차이).특히, 우리는 Social IQa를 상식 지식의 전이 학습 자원으로 활용할 수 있다는 점을 추가로 확립하였으며, 여러 가지 상식적 추론 과제(Winograd Schemas, COPA)에서 최신 성능을 달성하였습니다.