AI资讯新闻榜单内容搜索-预训练

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 预训练
动态RAG性能提升14个点!用4万亿token教会大模型 「什么时候该检索」

动态RAG性能提升14个点!用4万亿token教会大模型 「什么时候该检索」

动态RAG性能提升14个点!用4万亿token教会大模型 「什么时候该检索」

近日,来自伊利诺伊大学芝加哥分校、纽约大学、与蒙纳士大学的联合团队提出QuCo-RAG,首次跳出「从模型自己内部信号来评估不确定性」的思维定式,转而用预训练语料的客观统计来量化不确定性,

来自主题: AI技术研报
7860 点击    2026-01-01 10:13
智谱首席科学家唐杰:领域大模型是伪命题!AI模型应用的第一性不应是创造新App,在线学习和自我评估是新Scaling范式

智谱首席科学家唐杰:领域大模型是伪命题!AI模型应用的第一性不应是创造新App,在线学习和自我评估是新Scaling范式

智谱首席科学家唐杰:领域大模型是伪命题!AI模型应用的第一性不应是创造新App,在线学习和自我评估是新Scaling范式

最近,清华大学教授、智谱AI首席科学家唐杰发了一条长微博,总结了自己2025年对大模型进展的感悟。从预训练到中后训练、长尾场景的对齐能力,再到Agent、多模态和具身智能的发展,其中有不少亮点。

来自主题: AI资讯
8567 点击    2025-12-26 15:42
北航提出代码大模型的 Scaling Laws:编程语言差异与多语言最优配比策略

北航提出代码大模型的 Scaling Laws:编程语言差异与多语言最优配比策略

北航提出代码大模型的 Scaling Laws:编程语言差异与多语言最优配比策略

在代码大模型(Code LLMs)的预训练中,行业内长期存在一种惯性思维,即把所有编程语言的代码都视为同质化的文本数据,主要关注数据总量的堆叠。然而,现代软件开发本质上是多语言混合的,不同语言的语法特性、语料规模和应用场景差异巨大。

来自主题: AI技术研报
6676 点击    2025-12-25 09:46
只靠国产算力预训练,稳!全流程开源,「开元」盛世真来了

只靠国产算力预训练,稳!全流程开源,「开元」盛世真来了

只靠国产算力预训练,稳!全流程开源,「开元」盛世真来了

鹏城实验室与清华大学PACMAN实验室联合发布了鹏城脑海‑2.1‑开元‑2B(PCMind‑2.1‑Kaiyuan‑2B,简称开元‑2B)模型,并以全流程开源的方式回应了这一挑战——从训练数据、数据处理框架、训练框架、完整技术报告到最终模型权重,全部开源。

来自主题: AI技术研报
8303 点击    2025-12-21 12:38
微软发布首个测试时扩展大规模研究,还给出了终极指南

微软发布首个测试时扩展大规模研究,还给出了终极指南

微软发布首个测试时扩展大规模研究,还给出了终极指南

如果说大模型的预训练(Pre-training)是一场拼算力、拼数据的「军备竞赛」,那么测试时扩展(Test-time scaling, TTS)更像是一场在推理阶段进行的「即时战略游戏」。

来自主题: AI技术研报
6657 点击    2025-12-11 11:27
2比特复数模型媲美全精度!北大通用框架让大模型在手机上也能流畅运行

2比特复数模型媲美全精度!北大通用框架让大模型在手机上也能流畅运行

2比特复数模型媲美全精度!北大通用框架让大模型在手机上也能流畅运行

近日,北京大学团队提出一个直接基于已有预训练模型进行极低比特量化的通用框架——Fairy2i。该框架通过广泛线性表示将实数模型无损转换为复数形式,再结合相位感知量化与递归残差量化,实现了在仅2比特的情况下,性能接近全精度模型的突破性进展。

来自主题: AI技术研报
7090 点击    2025-12-10 14:28
奥特曼怕了!GPT-5.5「大蒜」决战谷歌,红色警报紧急拉响

奥特曼怕了!GPT-5.5「大蒜」决战谷歌,红色警报紧急拉响

奥特曼怕了!GPT-5.5「大蒜」决战谷歌,红色警报紧急拉响

三年河东三年河西,曾经逼疯谷歌的奥特曼,如今也被谷歌逼得拉响了「红色警报」,AI王座之下已是刀光剑影。更劲爆的是,最强「Garlic」在预训练取得重大突破,正面硬刚Gemini 3.

来自主题: AI资讯
7033 点击    2025-12-03 09:48
OpenAI大溃败!GPT-5「换皮」GPT-4o,两年半预训练0突破

OpenAI大溃败!GPT-5「换皮」GPT-4o,两年半预训练0突破

OpenAI大溃败!GPT-5「换皮」GPT-4o,两年半预训练0突破

OpenAI,亟需一场翻身仗!今天,全网最大的爆料:GPT-5基石实为GPT-4o。自4o发布之后,内部预训练屡屡受挫,几乎沦为「弃子」。

来自主题: AI资讯
7139 点击    2025-12-01 10:03
突破视觉-语言-动作模型的瓶颈:QDepth-VLA让机器人拥有更精准的3D空间感知

突破视觉-语言-动作模型的瓶颈:QDepth-VLA让机器人拥有更精准的3D空间感知

突破视觉-语言-动作模型的瓶颈:QDepth-VLA让机器人拥有更精准的3D空间感知

视觉-语言-动作模型(VLA)在机器人操控领域展现出巨大潜力。通过赋予预训练视觉-语言模型(VLM)动作生成能力,机器人能够理解自然语言指令并在多样化场景中展现出强大的泛化能力。然而,这类模型在应对长时序或精细操作任务时,仍然存在性能下降的现象。

来自主题: AI技术研报
9668 点击    2025-11-27 09:48