IndustReal: 산업 환경에서 수행 오류를 처리하는 제1인칭 동영상의 절차 단계 인식을 위한 데이터셋

절차적 작업의 행동 인식은 주목할 만한 관심을 받았지만, 행동에 대한 성공도 측정 기준이 제공되지 않는 근본적인 결함을 가지고 있습니다. 이는 절차적 행동의 결과가 단순 실행보다 훨씬 더 중요한 산업 분야에서 특히 이러한 시스템의 적용 범위를 제한합니다. 이 한계를 해결하기 위해, 우리는 절차 단계 인식(Procedure Step Recognition, PSR)이라는 새로운 작업을 정의하였습니다. 이 작업은 절차 단계의 올바른 완료와 순서를 인식하는 데 초점을 맞추고 있습니다. 새로운 작업과 함께, 우리는 다중 모달 IndustReal 데이터셋을 소개합니다. 현재 사용 가능한 데이터셋과 달리, IndustReal은 절차적 오류(생략 등)와 실행 오류를 포함하고 있습니다. 이러한 오류 중 상당 부분은 검증 세트와 테스트 세트에만 독점적으로 존재하여, IndustReal은 알고리즘이 새로운 미확인된 실수에 대해 얼마나 견고한지를 평가하기에 적합합니다. 또한 재현성을 장려하고 합성 데이터로 훈련된 확장 가능한 접근 방식을 가능하게 하기 위해, 모든 부품의 3D 모델이 공개되어 있습니다. 행동 인식 및 조립 상태 감지뿐만 아니라 새로운 PSR 작업에 대한 주석과 벤치마크 성능이 제공됩니다. IndustReal은 코드와 모델 가중치와 함께 다음 링크에서 이용 가능합니다: https://github.com/TimSchoonbeek/IndustReal .