VLA别再「走神」：即插即用提升视觉泛化，相对Pi0.5提升18%
VLA别再「走神」：即插即用提升视觉泛化，相对Pi0.5提升18%“把水果放进盘子里”——机器人看懂了指令，开始执行，却在最后关头抓偏了。
来自主题: AI技术研报
6193 点击 2026-03-26 10:48
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
“把水果放进盘子里”——机器人看懂了指令，开始执行，却在最后关头抓偏了。
在大模型后训练阶段，监督微调（SFT）和强化学习（RL）是两根不可或缺的支柱。SFT 利用高质量的离线（Off-policy）数据快速注入知识，但受限于静态数据分布，泛化能力往往容易触及天花板并带来灾难性遗忘；RL 则允许模型在探索中不断自我迭代，产生与当前策略同分布（On-policy）的数据，上限极高，但往往伴随着训练极度不稳定、计算资源消耗巨大的痛点。
一张蓝锥嘴雀的图片，你能认出它是“鸟”，但能认出它是“鸟纲-雀形目-唐纳雀科-锥嘴雀属-蓝锥嘴雀”吗？
不可学习样本（Unlearnable Examples）是一类用于数据保护的技术，其核心思想是在原始数据中注入人类难以察觉的微小扰动，使得未经授权的第三方在使用这些数据训练模型时，模型的泛化性能显著下降，甚至接近随机猜测，从而达到阻止数据被滥用的目的。
大模型的能力正在被不同的范式逐步解锁：In-Context Learning 展示了模型无需微调即可泛化到新任务；Chain-of-Thought 通过引导模型分步推理来提升复杂问题的求解能力；近期，智能体框架则赋予模型调用工具、多轮交互的能力。
上下文分割（In-Context Segmentation）旨在通过参考示例指导模型实现对特定目标的自动化分割。尽管 SAM 凭借卓越的零样本泛化能力为此提供了强大的基础，但将其应用于此仍受限于提示（如点或框）构建，这样的需求不仅制约了批量推理的自动化效率，更使得模型在处理复杂的连续视频时，难以维持时空一致性。
近日，清华大学等机构的研究团队提出了 MARSHAL 框架。该框架利用强化学习，让大模型在策略游戏中进行自博弈（Self-Play）。实验表明，这种多轮、多智能体训练不仅提升了模型在游戏中的博弈决策水
在生成式 AI 技术日新月异的背景下，合成语音的逼真度已达到真假难辨的水平，随之而来的语音欺诈与信息伪造风险也愈演愈烈。作为应对手段，语音鉴伪技术已成为信息安全领域的研究重心。
在空间智能（Spatial Intelligence）飞速发展的今天，全景视角因其 360° 的环绕覆盖能力，成为了机器人导航、自动驾驶及虚拟现实的核心基石。然而，全景深度估计长期面临 “数据荒” 与 “模型泛化差” 的瓶颈。
大模型的通用性和泛化性越来越强大了。