2024 年 12 月 6 号加州时间上午 11 点，OpenAI 发布了新的 Reinforcement Finetuning 方法，用于构造专家模型。对于特定领域的决策问题，比如医疗诊断、罕见病诊断等等，只需要上传几十到几千条训练案例，就可以通过微调来找到最有的决策。
作为计算机视觉领域的开拓者，李飞飞在人工智能革命中扮演了重要角色。她的新回忆录《我所看到的世界》（The Worlds I See）详细讲述了她从学术到技术突破的旅程，以及如何在人工智能的最前沿找到自己的使命。
最近，世界模型（World Models）似乎成为了 AI 领域最热门的研究方向。
在人工智能发展史上，强化学习 (RL) 凭借其严谨的数学框架解决了众多复杂的决策问题，从围棋、国际象棋到机器人控制等领域都取得了突破性进展。
Lilian Weng离职OpenAI后首篇博客发布！文章深入讨论了大模型强化学习中的奖励欺骗问题。随着语言模型在许多任务上的泛化能力不断提升，以及RLHF逐渐成为对齐训练的默认方法，奖励欺骗在语言模型的RL训练中已经成为一个关键的实践性难题。
当前构建数字世界有三条路线：OpenAI的Sora追求视觉真实，谷歌的Genie 2注重实时交互，World Labs专注空间准确。这三条路线各有优势，也各有无法在短期内解决的问题。
李飞飞的World Labs首个「空间智能」模型，刚刚诞生了！一张图生成一个3D世界，网友惊呼：太疯狂了，我们进入了下一轮革命，这就是视频游戏、电影的未来。
如何让机器人拥有人一样的协调行动能力是具身智能不可避免的挑战，而李飞飞团队在CoRL-LEAP研讨会获得最佳论文奖的ReKep对于这一挑战交出了一张亮眼的答卷。
就在刚刚，李飞飞空间智能首个项目突然发布： 仅凭借1张图，就能生成一个3D游戏世界的AI系统！
之前领导OpenAI安全团队的北大校友翁荔（Lilian Weng），离职后第一个动作来了。当然是发～博～客。这次的博客一如既往万字干货，妥妥一篇研究综述，翁荔本人直言写起来不容易。主题围绕强化学习中奖励黑客（Reward Hacking）问题展开，即Agent利用奖励函数或环境中的漏洞来获取高奖励，而并未真正学习到预期行为。
