11 天前
RT-1：面向大规模现实世界控制的机器人Transformer
Anthony Brohan, Noah Brown, Justice Carbajal, Yevgen Chebotar, Joseph Dabis, Chelsea Finn, Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog, Jasmine Hsu, Julian Ibarz, Brian Ichter, Alex Irpan, Tomas Jackson, Sally Jesmonth, Nikhil J Joshi, Ryan Julian, Dmitry Kalashnikov, Yuheng Kuang, Isabel Leal, Kuang-Huei Lee, Sergey Levine, Yao Lu, Utsav Malla, Deeksha Manjunath, Igor Mordatch, Ofir Nachum, Carolina Parada, Jodilyn Peralta, Emily Perez, Karl Pertsch, Jornell Quiambao, Kanishka Rao, Michael Ryoo, Grecia Salazar, Pannag Sanketi, Kevin Sayed, Jaspiar Singh, Sumedh Sontakke, Austin Stone, Clayton Tan, Huong Tran, Vincent Vanhoucke, Steve Vega, Quan Vuong, Fei Xia, Ted Xiao, Peng Xu, Sichun Xu, Tianhe Yu, Brianna Zitkovich
摘要
通过从大规模、多样化且任务无关的数据集迁移知识，现代机器学习模型能够在零样本（zero-shot）或仅使用少量特定任务数据的情况下，实现对具体下游任务的高性能解决。尽管这一能力已在计算机视觉、自然语言处理和语音识别等领域得到验证，但在机器人学领域尚未得到充分证明。由于真实世界机器人数据的采集极为困难，模型的泛化能力在机器人领域显得尤为关键。我们认为，实现通用机器人模型成功的关键在于开放式的、任务无关的训练方式，结合高容量的模型架构，以充分吸收来自多样化机器人数据的丰富信息。本文提出一类新型模型，称为“机器人Transformer”（Robotics Transformer），其展现出良好的可扩展性特征。我们通过一项大规模研究验证了上述观点：基于真实机器人执行真实任务的海量数据集，系统比较了不同模型类别在数据规模、模型规模和数据多样性变化下的泛化能力。该项目的官方网站与演示视频可访问：robotics-transformer1.github.io