清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
来自主题: AI技术研报
7126 点击 2025-06-19 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
判断AI是否智能，评价维度如今已不仅限于刷榜成绩。
护城河是所有投资人和创始人都非常关注的一个概念，因为它涉及到企业的长期价值和生死存亡。AI 时代，大家对护城河同样有执念，但是越来越搞不懂什么才是这个时代的护城河了，甚至是否还有护城河都已经是一个问题。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
又快又准，即插即用！清华8比特量化Attention，两倍加速于FlashAttention2，各端到端任务均不掉点！
鹅厂搞了个150多人的“翻译公司”，从老板到员工都是AI智能体！ 主营业务是翻译网络小说，质量极高，参与评价的读者认为比真人翻译得还要好。 而且相比于雇佣真人，用它来翻译文学作品，成本降低了近80倍。
据AppleInsider 5月3日报道，苹果正在计划为其系统组件引入一系列AI增强功能，其中Safari、Messages、Mail、Spotlight Search和Siri将成为首批接受AI升级的应用。