3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源
3B模型长思考后击败70B！HuggingFace逆向出o1背后技术细节并开源如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
来自主题: AI技术研报
6678 点击 2024-12-18 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
如果给小模型更长的思考时间，它们性能可以超越更大规模的模型。
现如今，以 GPT 为代表的大语言模型正深刻影响人们的生产与生活，但在处理很多专业性和复杂程度较高的问题时仍然面临挑战。在诸如药物发现、自动驾驶等复杂场景中，AI 的自主决策能力是解决问题的关键，而如何进行决策大模型的高效训练目前仍然是开放性的难题。
LLM 强大的语言能力，使其被广泛部署于 LLM 应用系统（LLM-integrated applications）中。此时，LLM 需要访问外部数据（如文件，网页，API 返回值）来完成任务。
o1完整版公开仅10天，Scaling Law新范式就被逆向工程复现了！
BLT 在许多基准测试中超越了基于 token 的架构。
多模态大模型内嵌语言模型总是出现灾难性遗忘怎么办？
近日，谷歌DeepMind的研究人员推出了苏格拉底式学习，在没有外部数据的情况下，让AI通过语言游戏不断变强。
PCNet网络具有创新的协同采样算子和优化的重建网络，实验结果证明，其在图像重建精度、计算效率和任务扩展性方面均优于现有方法，为高分辨率图像的压缩感知提供了新的解决方案。
距离 POINT1.0 的发布已经过去两个月时间来，在这段时间业界不断涌现出一系列优秀的模型。我们通过不断紧跟前沿技术，并结合过去开发多模态模型沉淀下来的经验，对 POINTS1.0 进行了一系列更新，推出了 POINTS1.5。
DeepMind的研究人员开发了一种视频分层新方法，可以无需假设背景静止或精确的相机姿态，就能将视频分解成包含物体及其效果（如阴影和反射）的多个层，提升了视频编辑的灵活性和效率。
基于昇腾算力的矩阵运算改进求解器框架，大幅提升Local Optimum跳出能力。
MAPLE实验室提出通过强化学习优化图像生成模型的去噪过程，使其能以更少的步骤生成高质量图像，在多个图像生成模型上实现了减少推理步骤，还能提高图像质量。
这几天，学术圈的小伙伴肯定都很关注正在加拿大温哥华举办的机器学习顶会——NeurIPS 2024。本届会议于今日落下帷幕，共接收 15671 篇有效论文投稿，比去年增长了 27%，最终接收率为 25.8%。
人工智能技术正以前所未有的速度改变着我们对世界的认知与构建方式。近期，李飞飞教授团队通过单张图片生成三维物理世界的研究，再次向世界展示了空间智能技术的巨大潜力。
Scaling Law不仅在放缓，而且不一定总是适用！ 尤其在文本分类任务中，扩大训练集的数据量可能会带来更严重的数据冲突和数据冗余。
在人工智能快速发展的今天，大语言模型(LLM)已经成为改变世界的重要力量。然而，如何高效地编写、管理和维护提示词(Prompt)仍然是一个巨大的挑战。
Sequoia Capital(红杉资本) 最近发表了一篇文章《AI in 2025: Building Blocks Firmly in Place》，对2025年的AI发展趋势做了三个预测，一定程度上反映了资本对于大模型方向一些定性判断。
本文介绍了首个多模态大模型（MLLM）可解释性综述
全网独一份o1 pro架构爆料来了！首创自洽性机制打破推理极限，「草莓训练」系统首次揭秘。更令人震惊的是，OpenAI和Anthropic自留Orion、Claude 3.5超大杯，并不是内部失败了，而是它们成为数据生成的秘密武器。
ACM SIGKDD（简称 KDD）始于 1989 年，是全球数据挖掘领域历史最悠久、规模最大的国际顶级学术会议。KDD 2025 将于 2025 年 8 月 3 日在加拿大多伦多举办。
在瑞士日内瓦湖畔，洛桑联邦理工学院（EPLF）不仅是机器人专家们的圣地，更是各种小鸟的「快乐大本营」。然而，小鸟们现在似乎不太热衷于飞行了，更喜欢在地面上悠哉游哉地散步，反正好吃的遍地都是。
阔别九月，大家期待的 DeepSeek-VL2 终于来了！DeepSeek-MoE 架构配合动态切图，视觉能力再升级。从视觉定位到梗图解析，从 OCR 到故事生成，从 3B、16B 再到 27B，DeepSeek-VL2 正式开源。
Mamba 这种状态空间模型（SSM）被认为是 Transformer 架构的有力挑战者。近段时间，相关研究成果接连不断。而就在不久前，Mamba 作者 Albert Gu 与 Karan Goel、Chris Ré、Arjun Desai、Brandon Yang 一起共同创立的 Cartesia 获得 2700 万美元种子轮融资。
嘿！最近 AI 圈都在关注 OpenAI 的连续 12 场直播。就在直播开播同一天，OpenAI 也出炉了 o1 系统卡（o1 System Card），今天咱们就来啃啃这块硬骨头。
OpenAI谷歌天天刷流量，微软也坐不住了，推出最新小模型Phi-4。 参数量仅14B，MMLU性能就和Llama 3.3/ Qwen2.5等70B级别大模型坐一桌。
因为流匹配的公式很简单，并且生成样本的路径很直接，最近越来越受研究者们的欢迎，于是很多人都在问： 「到底是扩散模型好呢？还是流匹配好？」
大语言模型（LLMs）通过更多的推理展现出了更强的能力和可靠性，从思维链提示发展到了 OpenAI-o1 这样具有较强推理能力的模型。
来自中科院自动化所的研究团队提出了用于大规模复杂三维场景的高效重建算法CityGaussianV2，能够在快速实现训练和压缩的同时，得到精准的几何结构与逼真的实时渲染体验。
Transformer模型自2017年问世以来，已成为AI领域的核心技术，尤其在自然语言处理中占据主导地位。然而，关于其核心机制“注意力”的起源，学界存在争议，一些学者如Jürgen Schmidhuber主张自己更早提出了相关概念。
我们距离AGI还有多远？智能体、智能体自动化的5个级别与自主工作的6个level