字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选
字节最新大模型秘籍：只挑能有推理潜力的数据训练！1.3B模型无需标签自动挑选和人工标记数据说拜拜，利用预训练语言模型中的注意力机制就能选择可激发推理能力的训练数据！
来自主题: AI技术研报
6460 点击 2025-05-16 10:07
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
和人工标记数据说拜拜，利用预训练语言模型中的注意力机制就能选择可激发推理能力的训练数据！
自 OpenAI 发布 Sora 以来，AI 视频生成技术进入快速爆发阶段。凭借扩散模型强大的生成能力，我们已经可以看到接近现实的视频生成效果。但在模型逼真度不断提升的同时，速度瓶颈却成为横亘在大规模应用道路上的最大障碍。
「未来，99% 的 attention 将是大模型 attention，而不是人类 attention。」这是 AI 大牛 Andrej Karpathy 前段时间的一个预言。这里的「attention」可以理解为对内容的需求、处理和分析。也就是说，他预测未来绝大多数资料的处理工作将由大模型来完成，而不是人类。
Attention 还在卷自己。
晚点：过去将近 6 个月，AI 领域最重要的两件事，一是 OpenAI 去年 9 月 o1 发布，另一个是近期 DeepSeek 在发布 R1 后掀起全民狂潮。我们可以从这两个事儿开始聊。你怎么看 o1 和 R1 分别的意义？
大模型同样的上下文窗口，只需一半内存就能实现，而且精度无损？ 前苹果ASIC架构师Nils Graef，和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
在 ChatGPT 爆火两年多的时间里，大语言模型的上下文窗口长度基准线被拉升，以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。
DeepSeek-R1 作为 AI 产业颠覆式创新的代表轰动了业界，特别是其训练与推理成本仅为同等性能大模型的数十分之一。多头潜在注意力网络（Multi-head Latent Attention, MLA）是其经济推理架构的核心之一，通过对键值缓存进行低秩压缩，显著降低推理成本 [1]。
当DeepSeek引发业界震动时，元始智能创始人彭博正专注于一个更宏大的愿景。
YOLO 系列模型的结构创新一直围绕 CNN 展开，而让 transformer 具有统治优势的 attention 机制一直不是 YOLO 系列网络结构改进的重点。这主要的原因是 attention 机制的速度无法满足 YOLO 实时性的要求。