比Adam更有效，POET从谱不变原理出发，让LLM训练又稳又快
比Adam更有效，POET从谱不变原理出发，让LLM训练又稳又快Zeju Qiu和Tim Z. Xiao是德国马普所博士生，Simon Buchholz和Maximilian Dax担任德国马普所博士后研究员
来自主题: AI技术研报
8200 点击 2025-07-15 10:11
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Zeju Qiu和Tim Z. Xiao是德国马普所博士生，Simon Buchholz和Maximilian Dax担任德国马普所博士后研究员
让大模型在学习推理的同时学会感知。伊利诺伊大学香槟分校（UIUC）与阿里巴巴通义实验室联合推出了全新的专注于多模态推理的强化学习算法PAPO(Perception-Aware Policy Optimization)。
大语言模型（LLM）在标准编程基准测试（如 HumanEval,Livecodebench）上已经接近 “毕业”，但这是否意味着它们已经掌握了人类顶尖水平的复杂推理和编程能力？
近年来，基于智能体的强化学习（Agent + RL）与智能体优化（Agent Optimization）在学术界引发了广泛关注。然而，实现具备工具调用能力的端到端智能体训练，首要瓶颈在于高质量任务数据的极度稀缺。
最近，关于大模型推理的测试时间扩展（Test time scaling law ）的探索不断涌现出新的范式，包括① 结构化搜索结（如 MCTS），② 过程奖励模型（Process Reward Model ）+ PPO，③ 可验证奖励 （Verifiable Reward）+ GRPO（DeepSeek R1）。
近日，一款名为Rosebud的AI日记应用获得了600万美元的种子轮融资，由Bessemer Venture Partners领投，Fuel Captial、Initialized Capital、766、Avenir 及知名投资人 Tim Ferriss 等跟投。据官方透露，Rosebud自推出以来已经累计了5亿字书写、8000+用户，使用时长超过3000万分钟。
为此，香港中文大学、字节跳动Seed和斯坦福大学研究团队出手，提出了一种面向同声传译的序贯策略优化框架 (Sequential Policy Optimization for Simultaneous Machine Translation, SeqPO-SiMT)。
测试时扩展（Test-Time Scaling）极大提升了大语言模型的性能，涌现出了如 OpenAI o 系列模型和 DeepSeek R1 等众多爆款。那么，什么是视觉领域的 test-time scaling？又该如何定义？
Time-R1通过三阶段强化学习提升模型的时间推理能力，其核心是动态奖励机制，根据任务难度和训练进程调整奖励，引导模型逐步提升性能，最终使3B小模型实现全面时间推理能力，超越671B模型。
当前，强化学习（RL）在提升大语言模型（LLM）推理能力方面展现出巨大潜力。DeepSeek R1、Kimi K1.5 和 Qwen 3 等模型充分证明了 RL 在增强 LLM 复杂推理能力方面的有效性。