亚马逊团队突破：机器人实现真实世界自主学习

今日快讯 2025年10月17日 08:48 1 admin

这项由亚马逊前沿AI与机器人研究团队（Amazon FAR）的Lars Ankile、Zhenyu Jiang、Rocky Duan等研究人员完成的突破性工作，发表于2025年9月的arXiv预印本平台，论文编号为arXiv:2509.19301v2。该研究还汇集了斯坦福大学、卡内基梅隆大学和加州大学伯克利分校的顶尖学者，共同攻克了机器人学习领域的一个核心难题。

想象一下，你刚学会开车时需要教练在旁边指导，但随着经验的积累，你逐渐能够独自处理各种复杂路况。机器人的学习过程也是如此，但传统方法存在一个根本矛盾：要么让机器人完全模仿人类示范（就像永远需要教练），要么让它完全自主探索（就像把新手直接扔到复杂路况中）。前者虽然安全但难以超越人类表现，后者虽然有潜力但在现实世界中风险太大且效率极低。

亚马逊团队提出的解决方案就像是给机器人配备了一个"智能副驾驶系统"。这个系统建立在他们称为"残差离线策略强化学习"（ResFiT）的创新框架之上。简单来说，就是让机器人先通过观察人类示范学会基本技能，然后在这个基础上通过自主实践来不断改进和完善。

研究的核心创新在于将学习过程分为两个阶段。第一阶段类似于驾校学习，机器人通过观察大量人类操作示范来掌握基本动作模式。这种学习方式被称为行为克隆，就像学生看老师示范后模仿动作一样。然而，纯粹的模仿有其局限性，就如同学生永远无法超越老师一样。

第二阶段是关键突破所在。研究团队设计了一种"残差学习"机制，让机器人在保持基础技能的同时，通过与环境的实际互动来学习微调和改进。这就好比一个已经学会基本驾驶技能的新手司机，在实际道路上通过不断练习来完善技术，学会处理各种意外情况。

最令人印象深刻的是，这套系统在现实世界中的表现。研究团队使用了一台拥有29个自由度的轮式人形机器人，配备两只五指灵巧手，让它执行复杂的双手协调任务。这台机器人不仅要处理视觉信息，还要精确控制多达29个关节的协调运动，复杂程度可想而知。

在实验中，机器人需要完成诸如双手传递包裹这样的复杂任务。初始时，基于纯模仿学习的基础策略只能达到23%的成功率。但经过ResFiT系统的在线学习改进后，仅用了约76分钟的实际操作数据，成功率就提升到了64%。这种改进幅度在机器人学习领域是相当显著的。

研究团队还在仿真环境中进行了大量对比实验。他们测试了从简单的单臂操作到复杂的双臂协调等多种任务。结果显示，ResFiT方法在样本效率方面比传统强化学习方法提高了约200倍。这意味着机器人能用少得多的练习时间达到相同甚至更好的表现。

技术层面上，ResFiT的巧妙之处在于它解决了现代机器人学习的一个根本矛盾。当前最先进的行为克隆模型通常包含数千万到数十亿个参数，结构极其复杂。直接对这样的模型进行强化学习优化就像试图调整一台精密仪器的所有部件，既困难又危险。ResFiT的解决方案是保持原有复杂模型不变，只学习简单的"修正项"，就像在原有驾驶技能基础上只学习一些微调动作。

这种设计还带来了安全性优势。由于基础策略保持不变，机器人不会偏离太远或做出危险动作。修正项的幅度可以被严格控制，确保机器人的行为始终在安全范围内。这对于在现实世界中部署机器人学习系统至关重要。

研究团队还发现了一些有趣的现象。他们注意到基础策略不仅提供了学习起点，还起到了两个重要作用：一是作为隐含的安全约束，防止机器人学习到过于激进的行为；二是提供了强有力的探索指导，帮助机器人在高维度空间中找到有效的学习方向。

在实验设计方面，研究团队采用了严格的评估协议。特别是在现实世界实验中，他们使用了盲测A/B对比方法，随机分配任务条件，避免了评估偏差。这种严谨的实验设计增强了结果的可信度。

值得强调的是，这项工作在机器人学习历史上具有重要意义。据研究团队所知，这是首次在配备五指灵巧手的双臂人形机器人上完全在现实世界中进行强化学习训练并取得成功的案例。这标志着机器人学习技术向实用化迈出了重要一步。

当然，该方法也存在一些限制。学习到的行为仍然受到基础策略的约束，机器人难以发现完全不同的解决方案。此外，当前系统仍需要人工监督来重置环境和判断任务成败，距离完全自主的技能改进还有距离。

研究团队对未来发展也提出了展望。他们认为关键在于找到合适的方式来放松对基础策略的约束，同时保持学习的稳定性。另一个有前景的方向是将改进后的行为蒸馏回基础策略，为进一步的残差学习创造更大空间。在多任务设置中，这种方法可能特别有效。

这项研究的意义不仅仅在于技术突破，更在于为机器人学习提供了一条切实可行的道路。它证明了在现实世界中部署样本高效的强化学习是完全可能的，这为未来开发能够在真实环境中持续学习和改进的机器人系统奠定了基础。随着技术的进一步发展，我们可能很快就会看到能够真正适应和学习的智能机器人走进我们的日常生活。

Q&A

Q1：ResFiT技术和传统机器人学习方法有什么不同？

A：ResFiT将学习分为两个阶段：先让机器人通过模仿人类示范掌握基本技能，再通过与环境互动学习改进。这就像先在驾校学基础，再在实际道路上练习提高。传统方法要么只会模仿无法超越，要么完全自主探索但效率太低风险太大。

Q2：这个技术在现实世界中的表现如何？

A：研究团队在29自由度人形机器人上测试了双手传递包裹等复杂任务。基础模仿学习只有23%成功率，但经过ResFiT改进后，仅用76分钟实际操作数据就提升到64%成功率。这是首次在真实世界完全训练五指灵巧手双臂机器人的成功案例。

Q3：ResFiT技术有什么局限性和未来发展方向？

A：主要局限是学习行为仍受基础策略约束，难以发现完全不同的解决方案，且仍需人工监督环境重置和任务判断。未来发展方向包括适当放松基础策略约束同时保持稳定性，以及将改进行为蒸馏回基础策略创造更大学习空间。

云汉芯城：公司已沉淀了丰富的数据资源及强大的互联网服务能力

帝尔激光获得实用新型专利授权：“一种薄膜物料的收放卷控制装置及加工设备”

发表评论

亚马逊团队突破：机器人实现真实世界自主学习

云汉芯城：公司已沉淀了丰富的数据资源及强大的互联网服务能力

帝尔激光获得实用新型专利授权：“一种薄膜物料的收放卷控制装置及加工设备”

热门文章

最新文章