IndustReal：一个用于处理工业环境中执行错误的自我中心视频中的程序步骤识别的数据集

尽管针对程序性任务的动作识别已受到广泛关注，但其存在一个根本缺陷，即未提供动作成功的衡量标准。这限制了此类系统在工业领域的应用，因为程序性动作的结果通常比单纯的执行更为重要。为了解决这一局限性，我们定义了一项新的任务——程序步骤识别（PSR），重点在于识别程序步骤的正确完成及其顺序。同时，我们还介绍了多模态的IndustReal数据集。与现有的数据集不同，IndustReal不仅包含程序错误（如遗漏），还包括执行错误。这些错误中的很大一部分仅出现在验证集和测试集中，使得IndustReal适合评估算法对新出现且未见过的错误的鲁棒性。此外，为了鼓励可重复性和允许基于合成数据进行可扩展的方法训练，所有零件的3D模型均公开可用。该数据集提供了动作识别和装配状态检测的注释及基准性能，并涵盖了新的PSR任务。IndustReal数据集及其代码和模型权重可在以下网址获取：https://github.com/TimSchoonbeek/IndustReal 。