OpenAI新研究：o1增加推理时间就能防攻击，网友：DeepSeek也受益
OpenAI新研究：o1增加推理时间就能防攻击，网友：DeepSeek也受益OpenAI的新Scaling Law，含金量又提高了。
来自主题: AI技术研报
5968 点击 2025-01-24 15:00
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
OpenAI的新Scaling Law，含金量又提高了。
对 LLM 来说，Pre-training 的时代已经基本结束了。视频模型的 Scaling Law，瓶颈还很早。具身智能：完全具备人类泛化能力的机器人，在我们这代可能无法实现
下一代 AI 的发展，似乎遇到了难以逾越的瓶颈。去年 12 月，OpenAI 在 ChatGPT 两周年期间连续发布了 12 天，我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
我亲眼见证了数据量的爆炸式增长以及行业的巨额投入。当时就很明显，AI是推动这些数据增长背后的关键动力。那是一个非常有趣的时刻——Meta正在完成“移动优先”的过渡，开始迈向“AI 优先”。
来了来了，月之暗面首个「满血版o1」来了！这是除OpenAI之外，首次有多模态模型在数学和代码能力上达到了满血版o1的水平。
近期关于 scaling law 的讨论甚嚣尘上，很多观点认为 scale law is dead. 然而，我们认为，高质量的 “无监督” 数据才是 scaling law 的关键，尤其是教科书级别的高质量的知识语料。此外，尽管传统的语料快枯竭了，但是互联网上还有海量的视频并没有被利用起来，它们囊括了丰富的多种模态的知识，可以帮助 VLMs 更好好地理解世界。
对于 LLM，推理时 scaling 是有效的！这一点已经被近期的许多推理大模型证明：o1、o3、DeepSeek R1、QwQ、Step Reasoner mini……
划时代的突破来了！来自NYU、MIT和谷歌的顶尖研究团队联手，为扩散模型开辟了一个全新的方向——测试时计算Scaling Law。其中，谢赛宁高徒为共同一作。
马斯克建超算速度，被中国这家公司用120天复刻了。119个集装箱，像搭积木一样拼出一座算力工厂。这不是科幻电影，而是浪潮信息交付的惊艳答卷。一个全新的AI时代，正在这里拉开序幕。
大模型低精度训练和推理是大模型领域中的重要研究方向，旨在通过降低模型精度来减少计算和存储成本，同时保持模型的性能。因为在大模型研发成本降低上的巨大价值而受到行业广泛关注 。