爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025
爆火Block Diffusion引发LLM架构变革?自回归+扩散模型完美结合 | ICLR 2025块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
块离散去噪扩散语言模型(BD3-LMs)结合自回归模型和扩散模型的优势,解决了现有扩散模型生成长度受限、推理效率低和生成质量低的问题。通过块状扩散实现任意长度生成,利用键值缓存提升效率,并通过优化噪声调度降低训练方差,达到扩散模型中最高的预测准确性,同时生成效率和质量优于其他扩散模型。
自 24 年 11 月起,我开始动手打造一个专注于 AI视频作品展示 的网站。在 AI 的助力下,我独立完成了 前后端与插件开发,成功落地了人生第一款真正意义上的个人作品。这篇文章将围绕 项目介绍、开发历程、工具使用心得、小白成长思考 等方面,分享我在这几个月中的所有收获与感悟。
氛围编程彻底火了。刚刚,没有任何Swift编程经验的Karpathy亲自代言,通过与ChatGPT多轮对话,仅用400行代码构建出自己的首个iOS应用。
当前,传统生物制造方法在知识整合、数据处理和实验设计方面面临诸多挑战,限制了其在工业化应用中的效率和可扩展性。
在 3 月初宣布AI 增强版 Siri 跳票之后,苹果股价单日暴跌 4.85%,创下两年半来的最大跌幅,各种负面评论更是足足刷屏了两周。3 月 21 日,彭博社爆料称,苹果 CEO 蒂姆·库克已经对目前的 AI 团队失去了信心,并更换了 AI 团队的负责人——现在由 Mike Rockwell 负责,他之前是 Apple Vision Pro 团队的关键人物。
世界上第一份AI生成的报纸
文本到图像(Text-to-Image, T2I)生成任务近年来取得了飞速进展,其中以扩散模型(如 Stable Diffusion、DiT 等)和自回归(AR)模型为代表的方法取得了显著成果。然而,这些主流的生成模型通常依赖于超大规模的数据集和巨大的参数量,导致计算成本高昂、落地困难,难以高效地应用于实际生产环境。
科技圈再掀波澜,一家名为Graphite的纽约人工智能初创公司,正式名称为Screenplay Studios Inc.,今日宣布成功斩获高达5200万美元的B轮融资,为这家专注于颠覆传统代码审查模式的新星注入了强劲动力。
大模型同样的上下文窗口,只需一半内存就能实现,而且精度无损? 前苹果ASIC架构师Nils Graef,和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
7B小模型+3.8万条训练数据,就能让音频理解和推断评测基准MMAU榜单王座易主?