Z Tech｜专访清华教授徐梦迪：物理世界无法穷举，In-Context Learning成为下一个解法

推荐语

从《四驱兄弟》里那些在赛道上奔跑的机械想象，到后来扎进机器人学习领域的漫长探索，徐梦迪始终被同一个问题牵引：机器要怎样进入物理世界，并在那里持续生长。

在她看来，机器人未来的天花板，并不只由模型规模决定。它能不能理解环境、吸收反馈，能不能在一次又一次真实交互中长出新的能力，或许更关键。面对开放、多变的物理世界，她把研究重心放在机器人的adaptation能力和ICL（In-Context Learning）范式上，希望机器人借助少量示范、环境反馈和人与机器的互动，逐步学会应对从未见过的任务。

她对行业技术路线也有自己的判断。相比让机器人单纯模仿动作，她更在意机器人能否建立对世界变化规律的理解。因此她看好World Action Model：对环境dynamics的建模，可能帮助机器人获得更强的跨场景迁移能力。

本次访谈，我们记录了徐梦迪老师对技术演进的判断，也呈现了她对下一代智能机器人的长期期待：让智能在现实空间里持续生长，让机器人真正拥有适应世界的能力。Enjoy~

Z Highlights

• 机器人最终要实现强泛化，不能只靠预训练阶段的zero-shot，而需要具备few-shot adaptation capability。真实物理世界是开放的，场景、任务和人的交互方式都会不断变化，所以机器人必须能在部署环境中吸收新的上下文信息（In-Context Learning），并通过少量demonstration或feedback快速适应。

• 机器人模型不能只学习instruction和action的对应关系，而应该理解动作会如何改变环境；这种对dynamics的理解，才更可能支撑跨场景、跨任务迁移。

• 人机交互的内涵会变得更广义：第一，人可以作为机器人的数据来源。人会提供很多日常数据，比如视频、ego-centric data或第三视角数据；第二，人也可以作为机器人的老师，或者作为机器人在终端部署场景里的专家；第三，人也是机器人的终端用户，机器人的任务不再完全由研发者预先定义，而是可以由用户根据实际需求直接定义。

• 机器人真正落地时，evaluation、simulation、实时inference和硬件成本会共同决定技术路线能否走通。低MSE loss并不等于真机成功率高，机器人还需要经过simulation和最终真机部署的多阶段评测；同时，模型推理频率和本体成本也会直接影响产品能否真正进入现实场景。

01 自动驾驶只是物理AI的入口，机器人要回到更广阔的物理世界

ZP：是什么原始动力，或者说什么信号，让你选择做机器人？

徐梦迪：简单说，是兴趣导向。我很小的时候就对车比较感兴趣，我小学的时候有一部很火的动漫叫《四驱兄弟》，当时我们也会买四驱车，自己把一个个小零件组装起来，有点像现在的乐高，你可以给它拼成赛车去玩，其中有一款我很喜欢，叫疾速眼镜蛇。那个时候觉得，把一些小零件拼成一个机器整体非常厉害，觉得这些机器里有很多机械上的美妙之处。我一直喜欢能在真实物理世界里产生影响的东西，所以后来学了物理竞赛，到大学选专业时也选了汽车系。我一直对robotics比较感兴趣，只是路径有点绕，最开始是从车开始的。

真正进入机器人领域，是在大二的时候。当时我进了清华机械系一位老师的课题组，主要做bio-robotics，也就是受生物启发的一些机器人设计和构型。后来也因为这段科研经历，我去了CMU Howie Choset老师的组，也在做bio-robotics相关的研究。从那之后，就一直沿着robotics这条路线做。

但真正开始系统地接触robot learning，是在后来去了JHU之后。当时我上了很多机器人领域比较基础的课程，同时也开始系统学习machine learning，算是我正式进入robot learning研究领域的起点。

ZP：为什么没有选择自动驾驶，而是转向更广义的机器人？

徐梦迪：我更感兴趣的，是去做一个真正能够进入开放现实世界、尤其是进入家庭环境的机器人。自动驾驶当然是一个很好的切入点，它让物理机器人进入现实世界，但我觉得，物理智能真正要解决的问题远不止自动驾驶。

02 在开放物理世界里，zero-shot很难，few-shot adaptation才是关键

ZP：在你的PhD生涯，你会如何概括自己在robotics上的研究主题？

徐梦迪：我的研究方向主要是让机器人具备adaptation的能力。现在大家对adaptation有很多不同的理解，比如有些工作会强调机器人在物理世界中的自我进化能力，我觉得这也是adaptation的一种表现形式。

另外还有泛化。泛化这个词，大家最开始可能会理解成zero-shot capability。但我觉得在物理世界里，zero-shot泛化是非常难的，我不是觉得zero-shot不重要，而是觉得不能把机器人的泛化完全寄托在zero-shot上。因为物理世界本身可以说是一个开放世界，它会有很多场景变化，也会有很多人在场景里，导致机器人任务相关定义本身发生巨大变化。在这样的开放世界里，很难靠穷举解决问题。很难指望机器人在预训练阶段就获得足够多的先验知识，从而直接解决部署时遇到的任务，所以few-shot adaptation会变得非常重要。

真正能让机器人实现泛化能力的一条核心路径，我觉得是few-shot adaptation，得让机器人在实际部署场景里，根据它在这个场景中收集到的额外信息，自己学会在这个场景里该怎样执行，甚至是学到一些新的技能。比如，它可能会被终端用户教会一些东西：终端用户可以给它demonstration，也可以给它语言指令；机器人做错时，终端用户还可以教它具体应该怎么做，比如给它指一下合适的位置。具体实现是依赖in-context learning，这里的context不只是demonstration，也可以是语言、手势、环境反馈，甚至机器人自己此前的failure。

我的研究主线一直是让机器人具备更强的adaptation capability，从更底层的角度看，这背后其实是我一直比较相信的一个判断：机器人最终要实现强泛化，需要具备这种few-shot adaptation capability，以及更广义的in-context learning的能力。换句话说，要让机器人有自己学习新东西的能力。

ZP：对于adaptation，你认为机器人不能通过预训练覆盖所有distribution的能力，必须要在部署环境里学到新东西、有权重更新，还是通过in-context learning也能达到类似效果？

徐梦迪：我更相信后者。In-context Learning和改权重参数In-weight Learning这两个方向我之前其实都有探索过。

2021年我在MIT-IBM实习的时候，最开始做的是Prompt Decision Transformer。那时候刚好GPT-3出来，我们觉得它非常有意思，模型不需要针对一个新任务重新训练，只需要通过语言prompt给它一些示例，它就可以理解并follow prompt里的模式去完成任务。但当时的robotics大部分还是处在需要针对每个任务做特定训练的状态。每遇到一个新的任务，都需要专门采集相关数据再训练，少则几十条，多则上千条。

针对每个任务做fine-tuning，其实是一件成本很高的事情，而且还会带来很多问题。比如针对一个新任务fine-tune之后，模型可能会遗忘之前已经学到的一些prior knowledge。所以我们当时就在想，能不能受到GPT-3 in-context learning能力的启发，让机器人也具备类似的能力，只需要给它看一下目标任务的demonstration，它就能够理解这个任务，并直接去完成它。

我们当时做的Prompt Decision Transformer的思路其实非常简单：我们把机器人的trajectory直接作为context放进模型的input，让机器人从demonstration中提取任务相关的信息，然后去follow demonstration里的behavior。实验结果确实证明了这种方式可以带来一定的泛化能力。但做完之后，我们也意识到它有一个比较明显的局限，当时并没有真正意义上的大规模预训练。我们只是在有限的几个场景里选择了一些任务，做多任务预训练，再验证Prompt-DT能不能泛化到新的任务。所以它更多是一个小规模的proof of concept。如果预训练本身只覆盖了非常有限的场景，其实很难判断这种in-context learning的泛化边界到底在哪里。

后来我们开始做另一个跟参数微调更相关的工作，也就是Hyper-DT（Hyper-Decision Transformer）。这个时候demonstration的使用方式，变成了把它作为hyper network的输入，再由hyper network输出一个adapter。实际部署时，它会先生成一组比较好的adapter initialization参数。后续可以通过imitation learning或RL去改adapter里的参数，这样我只需要更改其中0.5%的参数，就能比较好地解决新任务。但是做完这两个工作之后，我一直在思考：真正让机器人解决更多任务时，哪种具体实现方式更好？

这跟刚刚的问题比较像，我个人还是更相信in-context learning这种方式。一个很重要的原因是，随着预训练规模扩大，我们可以让foundation model在预训练阶段看到越来越丰富的context，例如涉及到不同的任务、环境、行为和反馈方式。我们现在也在做这件事情，希望机器人能够在预训练过程中学会从不同类型的context中提取信息，并利用这些信息与环境交互。这样adaptation本身就可以成为模型在预训练阶段学到的一种能力，而不是每遇到一个新任务，都需要重新修改模型。我觉得真正需要通过改参数来完成的adaptation，更多应该发生在场景层面，而不是任务层面，比如让模型通过参数更新，对一个新的场景有更深入的理解；但具体到今天我要让机器人做一个什么新任务，我更希望这个任务可以直接通过context来定义，而不是再去fine-tune一遍模型。在我看来这两种adaptation的角色是不一样的。

ZP：你怎么看两种adaptation：一种是看demo后模仿，另一种是在环境中拿到反馈后修正。这两种能力本质上相同吗？

徐梦迪：我觉得它们最后会统一到一种形式里，我也同意，这是in-context learning能引发出的两种模型adaptation能力，只是context的形式不一样，一种是demonstration，另一种是机器人与环境交互之后得到的feedback。

第一种更多是learning from few-shot demonstration。这其实是机器人领域已经研究了很长时间的方向。早期的做法是先给机器人一个human demonstration，再通过RL或者一些更模块化的系统，把人的demonstration转化成robot policy。而我们现在希望通过ICL做的事情，是尽量减少这些中间环节，希望模型本身就具备理解human demonstration、并直接输出robot action的能力。有一个足够好的base model，再经过相应的训练之后，它看到一次人的demonstration，就能够理解人想完成什么，并直接产生机器人自己的动作。我最近跟一些领域里的研究者交流，发现很多人有共同的判断就是，机器人预训练数据对于真实3D世界和长时间尺度任务的coverage还是远远不够的，所以模型必须具备从少量demonstration中学习、或者更广义地说，从context中快速吸收新信息的能力。这是第一步，也是目前ICL在robotics里积累相对更久、投入也更多的方向。

刚刚提到的第二种，更偏向于learning from failure或learning from feedback。我觉得这两者之间也有一些耦合。从更大的角度看，人对机器人的影响有几个方面：第一，人可以作为机器人的数据来源。人会提供很多日常数据，比如视频、ego-centric data或第三视角数据，这些都可以作为预训练数据；第二，人也可以作为机器人的老师，或者作为机器人在终端部署场景里的专家；第三就是人是终端用户，可以定义机器人需要完成的任务。人可以给机器人提供更多样化的反馈，而且这种反馈是非常multi-modal的，不局限在语言形式：机器人一开始想插插头，但插的位置或方向不对，人就可能给它一个语言反馈，或者直接指向正确的方向。这些demonstration、语言、手势，甚至机器人自己失败的经历，本质上都可以成为context，被用到ICL的训练中去。

ZP：learning from feedback本质上一定需要人吗？能不能用VLM来完成？

徐梦迪：这是一个很好的问题。机器人运行在物理世界里，因此模型需要具备非常强的3D空间理解能力。但现在的语言模型，或者说VLM，对3D、动作时序以及物理的理解能力还是比较有限，还没有办法做到非常精细。当然可以做针对性训练，但如果每个场景都需要针对性training，这可以作为探索方向，却不一定是最可扩展的方式。

在做learning from feedback的数据积累的过程中，我们尝试了用VLM来自动生成feedback。比如机器人执行任务出现了一个failure，我们可以让VLM判断它为什么失败，并给这段数据打标。但后来发现，VLM打出来的标注没有能够直接提升learning from failure的能力，所以我们后来又额外让人打了一遍标。我们发现对于一些VLA模型，如果想让它具备learning from feedback的能力，用人打标训练出来的效果，比用VLM打标训练出来的效果要好，所以我觉得这里目前确实还存在一个gap。但从长期来看，VLM依然可能是扩大feedback数据规模非常重要的一环。人提供高质量的feedback，VLM帮助我们把这种反馈方式scale up，这可能会是一个比较自然的数据生成流程。

ZP：机器人在执行过程中遇到问题时，实时交互和自我修正，是否只能通过语言作为中枢来实现？

徐梦迪：不是，尤其在robotics里面肯定不是。对机器人来讲，最自然、最底层的交互模态，一个是动作，另一个是它通过感知看到的视频流。所以对机器人来说，尤其是对reactive behavior来说，机器人通过连续的视频流去感知环境、理解环境的变化，再决定下一步动作，这是很自然的一种方式。语言更多用于任务定义，或者承载一些reasoning trace；如果要更精确地描述推理过程，语言当然更合适。但如果考虑到动作跟世界的这种连接的话，本质上还是靠视频和机器人本体信息之间的alignment来实现。

回到机器人adaptation capability需要用到什么自然模态，关键并不是依赖某一种单一模态，而是让机器人具备理解环境中各种多模态的、自然交互信息的能力。比如人在跟机器人交互时，除了语言指示，还会用手指向空间中的某一个点：我想让机器人从某个屋子拿东西，或者把收拾好衣服的筐放到某个位置。人会使用非常多body gesture，这也是人与人交互时非常自然的方式，本身就是一种多模态交互。比如我们现在说话，也会同时有语言和body gesture。尤其在教机器人动作的过程中，如果只依赖语言交互，机器人就需要完整地做语言到动作的alignment，但我觉得语言到动作的alignment，要比视频和动作的alignment难得多。所以我觉得语言会是机器人交互中很重要的一种模态，但不会是唯一的，机器人最终还是需要从视觉、动作、语言以及其他感知信号中共同学习。

ZP：你觉得vision现在是robotics的瓶颈吗？如果是，我们需要什么样的功能？

徐梦迪：首先，刚刚提到的实时性肯定非常关键。在真实的人机交互过程中，不可能寄希望于一个人给出反馈、知识或指示之后，机器人还需要encode、思考一两分钟才能反应。所以，实时编码以及模型实时推理输出，是机器人部署过程中不可避免需要实现的一部分，这也是为什么大家现在会做各种world model的实时推理加速。另外从能力角度看，我觉得目前模型对物理交互的理解还不够精细。这里说的interaction不是机器人和人的交互，而是机器人本体和环境、物体之间的交互。我觉得这本质上也是现有模型对physics理解不足的一种体现。我们看很多视频生成模型，会发现它们在生成比较精细的物理交互时还是很容易出问题。尤其是手和物体发生接触，或者操作一个非常小的物体时，模型往往会在这些地方失焦，生成结果也容易变得模糊或者不准确。但这部分信息对robotics来讲非常关键，因为它直接代表了动作对环境的影响，也会帮助预测环境下一步会怎么改变。

ZP：现在主流vision model在机器人里的使用方式还是turn-based吗？还是应该走向类似语音模型的streaming-based过程？

徐梦迪：我觉得现在整体还是比较接近turn-based，但未来一定会走向streaming-based，尤其是如果我们希望机器人具备真正的交互和adaptation能力。一个很重要的原因是，真实世界的context本身就是连续动态变化的。机器人在执行任务的过程中，环境一直在变，人也可能随时介入，给它新的语言、手势或者动作反馈。如果还是turn-based，机器人可能很难及时捕捉这些变化，更不用说根据新的context实时调整自己的行为。另外turn-based会直接带来反应延迟。这种延迟在语言对话里可能可以接受，但到了物理交互里会非常明显。比如机器人给你递一杯水，你的手已经伸过去了，它却停顿一下再继续，人马上就会觉得不自然。更不用说一些需要快速反应的场景，比如杯子开始掉落，机器人需要马上做出反应。

03 比起直接模仿动作，模型要先理解世界如何变化

ZP：VLA和world action model这两条路线，你更看好哪一个？

徐梦迪：我现在更看好world action model。做robot learning的人一直在争论model-based和model-free，这个debate已经持续了很多年。某种程度上，今天VLA和World Action Model的区别，也可以放在这个框架下理解。

我觉得最核心的区别在于模型到底有没有去学习环境本身。如果看目前比较典型的VLA，它的监督信号主要还是落在action上，它更多是在学习instruction、observation和action之间的映射，本质上还是在模仿action behavior。相比之下，我更看好把environment modeling明确纳入learning objective的路线。我比较相信环境建模本身是一种更通用的能力。如果模型主要学习某个instruction下应该采取什么action，它学到的能力会和具体任务、reward有比较强的绑定。但如果模型真正理解环境的dynamics，知道不同动作会对世界产生什么影响，那么这种知识本身是相对task-agnostic的，也更容易transfer到新的任务和新的环境。

ZP：world action model一定需要pixel-level generator吗？还是latent表征也可以？

徐梦迪：我觉得不一定需要。如果目标是做机器人模型，我暂时想不到一个必须做pixel-level generation的理由。我们真正希望拿到的是环境变化，也就是dynamics的变化。dynamics变化可能会有不同的实际表征形式，它可能是pixel，也可能是光流，或者是一些latent representation。至于是不是在pixel-level，inference阶段我觉得没有必要，但是training阶段，pixel-level的信息仍然非常有价值，视频是我们能够获得的规模最大、信息最丰富的数据模态之一，所以完全可以用pixel-level的信号作为supervision。

ZP：VLA是VLM pre-training，而world action model更接近video generation pre-training。你是否认为video generation pre-training比language pre-training更合理？

徐梦迪：我觉得这两条路线会converge。至少需要有一个unified模型，能够输入language、video、action，也能输出language、video、action。在这个unified的模型基础上，肯定还会有各种辅助，比如embodied harness，可能会有external VLM模型，或者video generation模型辅助做long horizon planning、关键信息提取等等。首先，base model肯定应该是unified model，能够支持multimodal input和multimodal output，也需要有in-context learning的能力。

现在大家看到的一些模型，就像你刚刚说的，有些模型在尝试把world model和VLA结合，比如类似π0.7这样的方式，但它还不算是一个unified model。但我觉得这肯定是一个螺旋上升的过程，base model的能力还是要不断变强，与此同时，系统层面也会不断加入各种辅助模块。最终这两部分会共同决定一个机器人系统真正能够做到什么。

ZP：现在robotics领域有人画出了比较可靠的scaling law吗？

徐梦迪：如果从evaluation metric是MSE loss这个角度看，确实有人在画scaling law，也已经有了初步的信号。比如最近机器人初创公司Dyna发了Dyna-2，他们是用百万小时的人类视频数据做的预训练。可以明显看到，当预训练数据从1万小时逐渐增加到100万小时时，MSE loss有明显下降。实际在做机器人评测时，会用到机器人数据进行fine-tuning，然后测出真机成功率。这也是robotics里scaling law比较难定义、也比较难测的地方，MSE loss低并不代表机器人能成功完成任务。

ZP：sim-to-real的算法或者design choice recipe是能迁移的吗？

徐梦迪：我觉得是可以的。很多人对simulation的一个质疑，是觉得sim-to-real本身很难做通。但我觉得这并不意味着simulation里的研究结论没有价值。Simulation仍然可以是一个非常好的实验和评估平台。比如我们想研究scaling law，或者比较不同的training recipe、architecture和design choice，这些问题或许都可以先在simulation里更系统地验证。至于为什么sim-to-real经常会失败，我觉得可以换一个角度理解：simulation可以被理解成一个新的domain。 它的controller、contact dynamics、latency，包括各种硬件特性，都会发生变化，所以直接transfer会有gap。

但这个gap并不妨碍我们在simulation里研究更底层的问题。如果一个方法或者training recipe揭示的是比较普适的learning principle，那么这些结论本身很可能是可以迁移到真实世界的。从这个意义上讲，我们甚至可以把simulation看成需要generalize的另一个domain，而sim-to-real本质上就是模型能不能在不同domain之间完成有效的transfer。

ZP：你相信未来simulation会逼近真实世界，甚至出现几乎没有sim-to-real gap的simulator吗？

徐梦迪：我觉得会越来越接近。从某种程度上讲，现在的LLM、VLM，包括video generation model，本身就在吸收大量来自真实世界的数据。随着模型吸收越来越多真实世界的视频、交互和物理数据，它对现实世界规律的建模能力会不断增强。所以我会相信 learning-based simulation会越来越接近真实世界。

但从另一个角度看，simulation其实没有必要做到和真实世界完全一致。simulation本身也是某种domain，如果这个模型最终还是回到robotics模型上，模型最终一定要处理不同场景、不同domain，而simulation可以是其中一个domain，而且它是一个可以生成大量场景的domain，我们也不应该针对某个场景把消灭sim-to-real gap本身作为最终目标。

ZP：用language model辅助构建simulator的表现如何？比如有人觉得Fable在deformable simulation上表现还不是很好？

徐梦迪：我觉得现在还很难把这个问题单独归因到language model或simulator的某一侧。之前大家的做法，确实是会把非常多的human prior工程化，创建不同的physics engine，这些prior很多是可以让 language model去吸收表达的。但模型必须具备多模态理解能力，虽然模型最终输出的是code，但必须理解视频、语言和各种信息，才可以形成这种强的physics prior。长远来看，我觉得这是一条很有潜力的路线。

04 让每个普通人都能指导机器人，才能打开泛化的学习曲线

ZP：你怎么看robotics里的泛化性？

徐梦迪：在language model里，测试集有很大概率会逐渐被包含在训练集中。但机器人不是这样，机器人会有真正意义上的test case。如果想实现泛化，本身不能只靠zero-shot，因为testing和training可能非常不一样，这时需要一定的探索试错。机器人不可能见过所有操作。

我觉得adaptation本身要让模型在一定pressure下，从真实场景里adapt，从更丰富的上下文理解这个场景到底要做什么。但我觉得机器人会有一个中间过程：最开始进入家庭时，它肯定不会是一个非常厉害的模型，也没法那么厉害，因为家庭交互任务实在太多了，比如叠衣服、炒菜、洗衣服等等，同时还叠加了具体场景和人的偏好的差异。所以最开始进入家庭时，它肯定不会是一个什么都会、什么都做得很好的模型，而更可能只是具备一套基础能力，之后它需要不断跟具体环境和用户交互，在这个家庭里逐渐变得更好。

这和自动驾驶还是不一样，因为自动驾驶风险很高。人在车里时，如果觉得它稍微不靠谱，就会立刻不想用它。但对于一些低风险的家务任务，用户对机器人试错的容忍度可能会比自动驾驶更高，当然一旦涉及人身安全或者高风险操作，要求同样会非常高。

ZP：你还是更看好家用机器人，而不是工厂场景吗？

徐梦迪：我还是更看好家用。工厂里的很多东西已经非常模块化，经过很多年的工程设计和优化，已经形成了一个非常结构化的系统。这里面本身就包含了大量的automation prior，也是很多工程师长期积累下来的智慧结晶。而且很多工业场景里，大家愿意牺牲generality来换reliability；但家庭场景恰恰需要机器人用generality去应对无法被标准化的环境。

ZP：通用机器人是否会打开一些新的工业机会，比如低边际成本地完成高度定制化的手工操作？

徐梦迪：如果工厂最终想做一些比较定制化的事情，我觉得确实可能是一个机会。但整个工业场景本身讲求标准化。它需要快、标准化、throughput足够高，很多环节要求接近确定性的稳定运行。在这种情况下，你更希望看到整个系统的稳定性。如果系统稍微不稳定，把它放到生产线上，不只是任务完不成，还可能把生产线搞坏，这会是一个风险很高的情况。所以它在我心里的想象空间没有那么大，真正需要这种定制化能力的场景，更多还是有人在的场景，比如各种服务场景、家用场景。我觉得这些是定制化需求更多的地方，同时也是in-context learning带来的few-shot adaptation可能真正发挥作用的地方。

ZP：在人与机器人交互中，你认为更好的交互形式是什么？相关研究有什么进展？

徐梦迪：我觉得不会存在一种唯一最优的交互形式，未来更可能是存在一个可以容纳多种交互方式的interface。我们现在有一些工作，就是在研究人到底可以用什么样的方式来指定机器人的行为和trajectory。现在很多VLA会把语言作为主要的instruction interface，因为语言可以很好地利用language model里已有的prior。但对人来说，语言并不适合描述所有东西，尤其不适合精确描述一个trajectory。比如我要让机器人移动桌面上的一个杯子，与其用语言告诉它先往左移动多少厘米，再往前走多少，最自然的方式可能就是在桌面上画一条线，或者直接指定几个关键点。

而且人给出的约束可能是不同粒度的。比如我只要求杯子底部始终贴着桌面，也就是约束它Z方向的高度，但并不关心它在桌面上具体走哪条路线；有时候我又希望它严格沿着某条轨迹运动。所以interaction interface可以非常丰富：一个点、几个关键点、2D sketch、3D sketch、手势、语言，甚至直接做一次 human demonstration，都可以成为机器人的context。我们现在想做的，就是让模型能够理解这些不同形式的instruction，并把它们统一转化成自己的行为。让模型更易用，易于交互方向的研究也是我觉得目前robot learning里还相对缺少的一部分。

除了task specification，我们也在做failure correction，希望机器人在部署过程中能够持续接受人的反馈，并根据新的context修正自己的行为。最终如果机器人真的要进入家庭，它面对的不会是robot expert，而是普通用户。我们不能要求人去学习怎么使用机器人，而应该让机器人去理解人最自然的表达方式。

文章来自于"Z Potentials"，作者 "Z Potentials"。