具身大模型学习——OCTO
具身大模型学习——OCTO在多样化的机器人数据集上预训练的大型策略有潜力改变机器人学习：与从头开始训练新策略相比，这种通用型机器人策略可以通过少量的领域内数据进行微调，同时具备广泛的泛化能力。
来自主题: AI资讯
6533 点击 2024-11-19 21:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在多样化的机器人数据集上预训练的大型策略有潜力改变机器人学习：与从头开始训练新策略相比，这种通用型机器人策略可以通过少量的领域内数据进行微调，同时具备广泛的泛化能力。
传统的训练方法通常依赖于大量人工标注的数据和外部奖励模型，这些方法往往受到成本、质量控制和泛化能力的限制。因此，如何减少对人工标注的依赖，并提高模型在复杂推理任务中的表现，成为了当前的主要挑战之一。
近期，智驾行业出现了一个融合了视觉、语言和动作的多模态大模型范式——VLA（Vision-Language-Action Model，即视觉-语言-动作模型），拥有更高的场景推理能力与泛化能力。不少智驾人士都将VLA视为当下“端到端”方案的2.0版本。
中国科学院上海营养与健康研究所李虹研究组多年来在抗癌药物疗效建模方向持续深耕，发表了基于分子组学预测药物响应和肝癌药物基因组相关的系列论文。但前期研究表明肿瘤用药的计算分析仍存在诸多挑战，例如：肿瘤临床前模型和病人存在差异，计算模型缺乏泛化能力；药物组合的作用机制复杂搜索空间大，对药物联用协同效果的准确和稳健估计仍很困难。
北京大学的研究人员开发了一种新型多模态框架FakeShield，能够检测图像伪造、定位篡改区域，并提供基于像素和图像语义错误的合理解释，可以提高图像伪造检测的可解释性和泛化能力。
具有强大泛化能力
在大语言模型（LLMs）后训练任务中，由于高质量的特定领域数据十分稀缺，合成数据已成为重要资源。虽然已有多种方法被用于生成合成数据，但合成数据的理论理解仍存在缺口。为了解决这一问题，本文首先对当前流行的合成数据生成过程进行了数学建模。
Robin3D通过鲁棒指令数据生成引擎（RIG）生成的大规模数据进行训练，以提高模型在3D场景理解中的鲁棒性和泛化能力，在多个3D多模态学习基准测试中取得了优异的性能，超越了以往的方法，且无需针对特定任务的微调。
在用模拟环境训练机器人时，所用的数据与真实世界存在着巨大的差异。为此，李飞飞团队提出「数字表亲」，这种虚拟资产既具备数字孪生的优势，还能补足泛化能力的不足，并大大降低了成本。
最近，ByteDance Research 的第二代机器人大模型 —— GR-2，终于放出了官宣视频和技术报告。GR-2 以其卓越的泛化能力和多任务通用性，预示着机器人大模型技术将爆发出巨大潜力和无限可能。