OpenAI o1 self-play RL 技术路线推演
OpenAI o1 self-play RL 技术路线推演OpenAI的self-play RL新模型o1最近交卷，直接引爆了关于对于self-play的讨论。
来自主题: AI技术研报
9040 点击 2024-09-21 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
OpenAI的self-play RL新模型o1最近交卷，直接引爆了关于对于self-play的讨论。
“o1发布后，一个新的范式产生了”。
相比第一代， 延迟降低40%，成本还降低30%。
“o1发布后，一个新的范式产生了”。
o1大火背后，最关键的技术是CoT。模型通过一步一步推理，恰恰是「慢思考」的核心要义。而这一观点，其实这家国内大厂早就率先实现了。
随OpenAI爆火的CoT，已经引发了大佬间的激战！谷歌DeepMind首席科学家Denny Zhou拿出一篇ICLR 2024论文称：CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终，CoT会是通往AGI的正确路径吗？
数月前，一张OpenAI内部的图片在网上流传。图中，OpenAI将自己通往AGI的道路分为了五个阶段
不怕在资本密集领域下重注
近年来，科技公司不断推出更先进的 AI 模型，而监管机构屡屡措手不及。可以预见，实验室即将发布的新模型将带来新的监管挑战。这只是时间问题。例如，OpenAI 可能在几周内发布 ChatGPT-5，这款模型有望进一步提升 AI 的能力。目前来看，几乎没有任何力量能够延缓或阻止那些可能带来极大风险的模型的发布。
o1模型发布1周，lmsys的6k+投票就将o1-preview送上了排行榜榜首。同时，为了满足大家对模型「IOI金牌水平」的好奇心，OpenAI放出了o1测评时提交的所有代码。