AI资讯新闻榜单内容搜索-预训练

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 预训练
零样本「即插即用」!智源开源RoboBrain-X0,一个基座模型开动不同机器人

零样本「即插即用」!智源开源RoboBrain-X0,一个基座模型开动不同机器人

零样本「即插即用」!智源开源RoboBrain-X0,一个基座模型开动不同机器人

为破解机器人产业「一机一调」的开发困境,智源研究院开源了通用「小脑基座」RoboBrain-X0。它创新地学习任务「做什么」而非「怎么动」,让一个预训练模型无需微调,即可驱动多种不同构造的真实机器人,真正实现了零样本跨本体泛化。

来自主题: AI资讯
6680 点击    2025-09-30 11:01
机器人感知大升级!轻量化注入几何先验,成功率提升31%

机器人感知大升级!轻量化注入几何先验,成功率提升31%

机器人感知大升级!轻量化注入几何先验,成功率提升31%

VLA模型通常建立在预训练视觉语言模型(VLM)之上,仅基于2D图像-文本数据训练,缺乏真实世界操作所需的3D空间理解能力。

来自主题: AI技术研报
5724 点击    2025-09-29 14:53
庞若鸣还有苹果论文?改善预训练高质量数据枯竭困境

庞若鸣还有苹果论文?改善预训练高质量数据枯竭困境

庞若鸣还有苹果论文?改善预训练高质量数据枯竭困境

数月前,苹果基础模型团队负责人、杰出工程师庞若鸣(Ruoming Pang)离职加入 Meta。扎克伯格豪掷两亿美元招揽庞若鸣加入超级智能团队。根据庞若鸣的领英信息,他已在 Meta 工作了大约三个月的时间。

来自主题: AI技术研报
7140 点击    2025-09-24 09:54
LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收

LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收

LeCun力荐的JEPA杀入LLM,用CV的思路训练LLM,性能鲁棒性双丰收

LeCun 这次不是批评 LLM,而是亲自改造。当前 LLM 的训练(包括预训练、微调和评估)主要依赖于在「输入空间」进行重构与生成,例如预测下一个词。 而在 CV 领域,基于「嵌入空间」的训练目标,如联合嵌入预测架构(JEPA),已被证明远优于在输入空间操作的同类方法。

来自主题: AI技术研报
6088 点击    2025-09-23 10:12
小米开源首个原生端到端语音大模型 Xiaomi-MiMo-Audio

小米开源首个原生端到端语音大模型 Xiaomi-MiMo-Audio

小米开源首个原生端到端语音大模型 Xiaomi-MiMo-Audio

这一瓶颈如今被打破。小米正式开源首个原生端到端语音模型——Xiaomi-MiMo-Audio,它基于创新预训练架构和上亿小时训练数据,首次在语音领域实现基于 ICL 的少样本泛化,并在预训练观察到明显的“涌现”行为。

来自主题: AI资讯
7164 点击    2025-09-21 19:22
从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」

从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」

从少样本到千样本!MachineLearningLM给大模型上下文学习装上「机器学习引擎」

这项名为 MachineLearningLM 的新研究突破了这一瓶颈。该研究提出了一种轻量且可移植的「继续预训练」框架,无需下游微调即可直接通过上下文学习上千条示例,在金融、健康、生物信息、物理等等多个领域的二分类 / 多分类任务中的准确率显著超越基准模型(Qwen-2.5-7B-Instruct)以及最新发布的 GPT-5-mini。

来自主题: AI技术研报
7105 点击    2025-09-17 09:30
OpenVision 2:大道至简的生成式预训练视觉编码器

OpenVision 2:大道至简的生成式预训练视觉编码器

OpenVision 2:大道至简的生成式预训练视觉编码器

本文来自加州大学圣克鲁兹分校(UCSC)、苹果公司(Apple)与加州大学伯克利分校(UCB)的合作研究。第一作者刘彦青,本科毕业于浙江大学,现为UCSC博士生,研究方向包括多模态理解、视觉-语言预训

来自主题: AI技术研报
4843 点击    2025-09-16 09:37
斯坦福:优化器「诸神之战」?AdamW 凭「稳定」胜出

斯坦福:优化器「诸神之战」?AdamW 凭「稳定」胜出

斯坦福:优化器「诸神之战」?AdamW 凭「稳定」胜出

自2014 年提出以来,Adam 及其改进版 AdamW 长期占据开放权重语言模型预训练的主导地位,帮助模型在海量数据下保持稳定并实现较快收敛。

来自主题: AI技术研报
6707 点击    2025-09-08 16:18
具身VLA后训练:TeleAI提出潜空间引导的VLA跨本体泛化方法

具身VLA后训练:TeleAI提出潜空间引导的VLA跨本体泛化方法

具身VLA后训练:TeleAI提出潜空间引导的VLA跨本体泛化方法

在多模态大模型的基座上,视觉 - 语言 - 动作(Visual-Language-Action, VLA)模型使用大量机器人操作数据进行预训练,有望实现通用的具身操作能力。

来自主题: AI技术研报
5249 点击    2025-09-08 15:20
SceneSplat: 基于3DGS的场景理解和视觉语言预训练,让3D高斯「听懂人话」的一跃

SceneSplat: 基于3DGS的场景理解和视觉语言预训练,让3D高斯「听懂人话」的一跃

SceneSplat: 基于3DGS的场景理解和视觉语言预训练,让3D高斯「听懂人话」的一跃

开放词汇识别与分类对于全面理解现实世界的 3D 场景至关重要。目前,所有现有方法在训练或推理过程中都依赖于 2D 或文本模态。这凸显出缺乏能够单独处理 3D 数据以进行端到端语义学习的模型,以及训练此类模型所需的数据。与此同时,3DGS 已成为各种视觉任务中 3D 场景表达的重要标准之一。

来自主题: AI技术研报
5209 点击    2025-09-08 10:01