清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
来自主题: AI技术研报
7152 点击 2025-06-19 10:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着大型模型需要处理的序列长度不断增加，注意力运算（Attention）的时间开销逐渐成为主要开销。
近日，Basecamp Research宣布推出生物序列数据库BaseData™，包含超过9.2万亿个Token的基因组数据以及98亿条经过严格筛选与校对的蛋白质序列，其中许多来自公司所发现的超过100万个新物种。
GSPN是一种新型视觉注意力机制，通过线性扫描和稳定性-上下文条件，高效处理图像空间结构，显著降低计算复杂度。通过线性扫描方法建立像素间的密集连接，并利用稳定性-上下文条件确保稳定的长距离上下文传播，将计算复杂度显著降低至√N量级。
今年 4 月，围绕“华为芯片效率是否超越国际主流 AI 芯片和架构”的问题，网上曾引发一场激烈争论。
大家好，我是袋鼠帝,最近陆陆续续分享了不少关于n8n的文章
科技行业经常讨论人工智能将如何改变工作方式。由红杉资本领投、刚刚完成580 万美元种子轮融资并走出隐秘模式的律所初创公司 Crosby，或许是我们迄今为止所见最具代表性的未来图景。
ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈，提升渲染效率和质量。
AI 也看脸， 每一次网购衣服，都是对自我认知的一次刷新。这不是最近 618 大促吗，再次印证了那句“老话”——看买家秀以为是东方不败，到手一穿像衰神二代。
当前数学领域的数据生成方法常常局限于对单个问题进行改写或变换，好比是让学生反复做同一道题的变种，却忽略了数学题目之间内在的关联性。
28 岁的 Jenny Wang 在科技行业工作多年，始终萦绕在她心头的想法是开发一款个人造型助手——它能根据用户的预算、生活方式、天气和日程安排，帮助用户决定穿搭与购物选择。