PIQA: 자연어를 통한 물리적 상식 추론

브러시 없이 아이섀도를 바르기 위해서는 면봉이나 치아용 픽을 사용해야 할까요? 이러한 물리적 상식을 요구하는 질문은 오늘날의 자연어 이해 시스템에게 도전과제를 제시합니다. 최근의 사전 학습 모델(예: BERT)은 뉴스 기사와 백과사전 항목 등 텍스트가 풍부한 추상적인 영역에서 질문 응답에 있어 진전을 이룩했지만, 물리적인 영역에서는 보고 편향으로 인해 텍스트가 본질적으로 제한적입니다. AI 시스템이 물리 세계를 직접 경험하지 않고도 신뢰성 있게 물리적 상식 질문에 답할 수 있을까요? 이 논문에서는 물리적 상식 추론 작업과 해당 작업을 위한 벤치마크 데이터셋인 Physical Interaction: Question Answering 또는 PIQA를 소개합니다. 인간은 이 데이터셋을 쉽게 해결할 수 있지만(정확도 95%), 큰 사전 학습 모델들은 어려움을 겪습니다(정확도 77%). 우리는 기존 모델들이 부족한 지식 차원에 대한 분석을 제공하며, 이는 미래 연구의 중요한 기회를 제공합니다.