AI资讯新闻榜单内容搜索-预训练

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 预训练
深度|OpenAI研究员Dan Roberts:AI主流认知将被打破,未来某个时点强化学习将完全主导整个训练过程

深度|OpenAI研究员Dan Roberts:AI主流认知将被打破,未来某个时点强化学习将完全主导整个训练过程

深度|OpenAI研究员Dan Roberts:AI主流认知将被打破,未来某个时点强化学习将完全主导整个训练过程

我们发现,当模型在测试阶段花更多时间思考时,其推理表现会显著提升,这打破了业界普遍依赖预训练算力的传统认知。

来自主题: AI资讯
7988 点击    2025-05-18 14:56
北大、清华、UvA、CMU等联合发布:大模型逻辑推理能力最新综述

北大、清华、UvA、CMU等联合发布:大模型逻辑推理能力最新综述

北大、清华、UvA、CMU等联合发布:大模型逻辑推理能力最新综述

当前大模型研究正逐步从依赖扩展定律(Scaling Law)的预训练,转向聚焦推理能力的后训练。鉴于符号逻辑推理的有效性与普遍性,提升大模型的逻辑推理能力成为解决幻觉问题的关键途径。

来自主题: AI技术研报
6797 点击    2025-05-08 10:50
别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练

别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练

别再卷数据了,LLM也怕「过劳死」!CMU等揭秘灾难性过度训练

颠覆LLM预训练认知:预训练token数越多,模型越难调!CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。

来自主题: AI技术研报
7420 点击    2025-05-03 15:40
小米推出首个开源推理大模型 Mimo

小米推出首个开源推理大模型 Mimo

小米推出首个开源推理大模型 Mimo

今天上午,小米发布了其首个开源推理大模型-Xiaomi MiMo。通过 25 T 预训练 + MTP 加速 + 规则化 RL + Seamless Rollout,让 7 B 参数的 MiMo-7B 在数理推理和代码生成上赶超 30 B-32 B 大模型,并完整 MIT 开源全系列与工程链,给端-云一体 AI 落地提供了“以小博大”的新范例。

来自主题: AI资讯
8079 点击    2025-04-30 15:47
52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

52页PPT,谷歌Gemini预训练负责人首次揭秘!扩展定律最优解

大模型之战烽火正酣,谷歌Gemini 2.5 Pro却强势逆袭!Gemini Flash预训练负责人亲自揭秘,深挖Gemini预训练的关键技术,看谷歌如何在模型大小、算力、数据和推理成本间找到最优解。

来自主题: AI技术研报
7824 点击    2025-04-29 09:43
字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题

字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题

字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题

最近,DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展(length scaling),通过强化学习(比如 PPO、GPRO)训练模型生成很长的推理链(CoT),并在奥数等高难度推理任务上取得了显著的效果提升。

来自主题: AI技术研报
5546 点击    2025-04-28 14:09