HR-Align团队 投稿

量子位 | 公众号 QbitAI

“让机器东谈主看懂天下、听懂辅导、动手干活”正从科幻走向执行。

基于大范围东谈主类视频数据进行视觉预磨真金不怕火，是拓荒着实场景可泛化机器东谈主操作算法的灵验阶梯。

中枢在于东谈主类操作与机器东谈主作为序列高度一样，因此从东谈主类视频习得的动态表征可搬动至机器东谈主任务；然则 “从东谈主到机器东谈主” 的搬动面对关键阻截，即东谈主 - 机器东谈主数据域间互异（Human-Robot Domain Discrepancy）。尽管二者奉行任务时作为看似一样，但其模式存在压根互异。

这种互异导致了一个攻击问题：即便在海量东谈主类数据上预磨真金不怕火了模子，这些模子一朝顺利用于机器东谈主任务时，其发扬却常常大打扣头，致使失败。

来自香港科技大学（广州）的团队提议了一个中枢问题：

何如减少东谈主-机器东谈主之间的数据域互异影响，使得从东谈主类预磨真金不怕火中得到的视觉模子，大概更灵验地匡助机器东谈主完成本色任务？

在这一问题之下，他们提议东谈主类视频预磨真金不怕火搬动新范式，哄骗匹配的东谈主类-机器东谈主操作视频，想象语义对皆环节弥合了这种跨域畛域。

其中第一作家周佳明，香港科技大学广州二年齿博士生，辩论标的为东谈主类视频作为效法以及可泛化的机器东谈主操作；通信作家是梁俊卫，是香港科技大学广州助领会释。

传统作念法（如图左）顺利用在Ego4D等东谈主类数据集上磨真金不怕火的模子去向理机器东谈主任务，这种顺利搬动的环节当然会受到东谈主类-机器东谈主数据域互异的禁锢。

本辩论提议的新范式（如图右）通过哄骗语义对皆的东谈主类-机器东谈主视频对，在现存的东谈主类视频预磨真金不怕火模子中插入Adapter微调模块，通过对比圆寂将机器东谈主数据上调度的模子的语义和预磨真金不怕火模子中细密建模的东谈主类动态语义进行对皆，从而减少域互异的禁锢。

HR-Align逾越东谈主机语义畛域的桥梁

阐述提议的预磨真金不怕火适配新范式，该责任想象了HR-Align（Human-Robot Semantic Alignment）环节。其中枢念念想荒谬圣洁：

若是大概获取“归拢个任务”的东谈主类操作视频和机器东谈主操作视频，并用它们之间的对应联系来调换模子微调，那就有可能建树起一个东谈主-机器东谈主之间的语义对皆机制。

1. 从“沉寂预磨真金不怕火”到“配对视频语义对皆”

传统的视觉预磨真金不怕火环节是在纯东谈主类视频上进行磨真金不怕火，然后将模子“冻结”，顺利应用于机器东谈主任务。这种状貌忽略了东谈主和机器东谈主领域间的互异。HR-Align冲破了这种“顺利搬动”的壁垒，目的在预磨真金不怕火和卑劣任务之间，引入一个“适配阶段”。

在这个阶段中，辩论者使用了一个具有语义配对的东谈主机数据集，这个数据聚会每一个东谈主类作为视频，都有一个对应的机器东谈主操作视频。这种东谈主-机器东谈主视频对提供了一个自然的“语义桥梁”。

2. 引入对比学习机制，竣事语义对皆

HR-Align适配的关键是东谈主-机器东谈主对比对皆圆寂。在适配进程中，关于已有的东谈主类视频预磨真金不怕火视觉编码器，HR-Align鉴别从东谈主类视频和机器东谈主视频中索求冻结的语义特征。同期，使用另一分支在编码器中引入轻量级Adapter模块在机器东谈主视频上微调，从而索求机器东谈主视频的适配特征。模子适配的中枢拘谨是，比较机器东谈主视频的冻结特征，机器东谈主视频的适配特征与匹配的东谈主类视频特征应当具有愈加一样的语义；

3. 轻量高效，适配通用

与其他需要大范围再行磨真金不怕火、或者为每种机器东谈主环境单独调度模子的有想象不同，HR-Align具备如下上风：

参数高效：仅适配小模块，主模子无需大范围更新；通用性强：归拢个适配模子可泛化至多个任务和环境，无需一一定制；数据易得：越来越多的平台提供东谈主-机器东谈主视频对，为环节的可落地提供保险。

实验效力

在RLBench的18个仿真任务下，通过HR-Align环节适配的D4R-Align模子比较蓝本的D4R预磨真金不怕火模子，平均凯旋率进步了4.6%；而通过HR-Align环节适配的R3M-Align模子比较未调度的R3M模子，平均凯旋率进步了8.9%；

在五个着实场景的机器东谈主任务上，D4R-Align和R3M-Align模子比较未适配的预磨真金不怕火模子，平均凯旋率鉴别进步13%和11%；

这些权贵的进步不仅考据了环节的灵验性，也标明该适配计谋具有极高的本色应用价值。

中枢孝敬回想提议新问题：从大范围东谈主类视频预磨真金不怕火中学习可泛化机器东谈主操作，东谈主体-机器东谈主数据的域互异问题不成漠视。提议新范式：通过匹配的东谈主-机器东谈主作为视频，竣事东谈主类作为与机器东谈主操作的语义对皆，不再盲目依赖预磨真金不怕火模子的泛化才调。高效适配环节：引入轻量级Adapter模块，仅需小数参数微调，即可将模子适配到机器东谈主任务中。充分实验考据：在20个仿真任务与5个着实机器东谈主任务中均取得卓越7%平均凯旋率进步，适配模子权贵优于未适配版块。

论文团结：https://arxiv.org/pdf/2406.14235技俩主页：https://jiaming-zhou.github.io/projects/HumanRobotAlign/开源仓库：https://github.com/jiaming-zhou/HumanRobotAlign

— 完 —

量子位 QbitAI · 头条号签

关怀咱们体育游戏app平台，第一时分获知前沿科技动态约