用慢思考提升模型安全性，北交大、鹏城实验室提出系统2对齐
用慢思考提升模型安全性，北交大、鹏城实验室提出系统2对齐OpenAI 在 “双十二” 发布会的最后一天公开了 o 系列背后的对齐方法 - deliberative alignment，展示了通过系统 2 的慢思考能力提升模型安全性的可行性。
来自主题: AI技术研报
7626 点击 2025-01-24 14:45
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
OpenAI 在 “双十二” 发布会的最后一天公开了 o 系列背后的对齐方法 - deliberative alignment，展示了通过系统 2 的慢思考能力提升模型安全性的可行性。
对 LLM 来说，Pre-training 的时代已经基本结束了。视频模型的 Scaling Law，瓶颈还很早。具身智能：完全具备人类泛化能力的机器人，在我们这代可能无法实现
马斯克和 OpenAI CEO Sam Altman 又双叒叕吵了起来。
下一代 AI 的发展，似乎遇到了难以逾越的瓶颈。去年 12 月，OpenAI 在 ChatGPT 两周年期间连续发布了 12 天，我们期待的新一代大模型 GPT-5 却从头到尾没有踪影。
我亲眼见证了数据量的爆炸式增长以及行业的巨额投入。当时就很明显，AI是推动这些数据增长背后的关键动力。那是一个非常有趣的时刻——Meta正在完成“移动优先”的过渡，开始迈向“AI 优先”。
中国版o1刷屏全网。DeepSeek R1成为世界首个能与o1比肩的开源模型，成功秘诀竟是强化学习，不用监督微调。AI大佬们一致认为，这就是AlphaGo时刻。
来了来了，月之暗面首个「满血版o1」来了！这是除OpenAI之外，首次有多模态模型在数学和代码能力上达到了满血版o1的水平。
近期关于 scaling law 的讨论甚嚣尘上，很多观点认为 scale law is dead. 然而，我们认为，高质量的 “无监督” 数据才是 scaling law 的关键，尤其是教科书级别的高质量的知识语料。此外，尽管传统的语料快枯竭了，但是互联网上还有海量的视频并没有被利用起来，它们囊括了丰富的多种模态的知识，可以帮助 VLMs 更好好地理解世界。
本期《智者访谈》邀请到著名开源语音识别项目 Kaldi 的创始人、小米集团语音首席科学家 Daniel Povey 博士。作为推动全球智能语音处理产业化的关键人物，他见证了语音识别技术从实验室走向大规模应用的全过程。十多年前，他在微软研究院的实习生，如今已成为 Google Gemini 等标志性项目的负责人。
据外电报道，就在谷歌与美联社签署协议的第二天，Mistral 还宣布与法新社 (AFP) 达成内容协议，以提高Mistral 聊天机器人产品Le Chat的答案的准确性。对于这家总部位于巴黎的人工智能公司来说，这是第一笔此类交易。这表明 Mistral 不想被视为仅仅一家基础模型制造商。