AmbiK: 주방 환경에서의 모호한 작업 데이터셋

대형 언어 모델(LLMs)은 사용자의 자연어 지시를 바탕으로 행동 계획을 수립하는 몸체화된 에이전트의 일부로 일반적으로 활용됩니다. 그러나 실제 환경에서 모호한 지시를 처리하는 것은 여전히 LLMs에게 큰 도전입니다. 이에 대한 다양한 작업 모호성 검출 방법이 제안되었지만, 서로 다른 데이터셋에서 테스트되어 비교하기 어려운 문제가 있습니다. 이를 해결하기 위해, 우리는 주방 환경에서 로봇에게 주어지는 모호한 지시를 포함하는 완전한 텍스트 데이터셋인 AmbiK (주방 환경에서의 모호한 작업)을 제안합니다. AmbiK는 대형 언어 모델의 도움으로 수집되었으며 인간 검증을 거쳤습니다. 이 데이터셋은 인간의 선호도, 상식적 지식, 안전성 등으로 구분된 1000개의 모호한 작업과 그에 해당하는 명확한 작업 쌍을 포함하며, 환경 설명, 명확화 질문 및 답변, 사용자 의도, 작업 계획 등을 제공하여 총 2000개의 작업으로 구성되어 있습니다. 우리는 AmbiK가 연구자들이 모호성 검출 방법을 통합적으로 비교할 수 있도록 돕기를 기대합니다. AmbiK는 https://github.com/cog-model/AmbiK-dataset에서 이용 가능합니다.