扩散语言模型有MoE版了!蚂蚁&人大从头训练LLaDA-MoE,将完全开源
扩散语言模型有MoE版了!蚂蚁&人大从头训练LLaDA-MoE,将完全开源挑战自回归的扩散语言模型刚刚迎来了一个新里程碑:蚂蚁集团和人大联合团队用 20T 数据,从零训练出了业界首个原生 MoE 架构扩散语言模型 LLaDA-MoE。该模型虽然激活参数仅 1.4B,但性能可以比肩参数更多的自回归稠密模型 Qwen2.5-3B,而且推理速度更快。这为扩散语言模型的技术可行性提供了关键验证。
搜索
挑战自回归的扩散语言模型刚刚迎来了一个新里程碑:蚂蚁集团和人大联合团队用 20T 数据,从零训练出了业界首个原生 MoE 架构扩散语言模型 LLaDA-MoE。该模型虽然激活参数仅 1.4B,但性能可以比肩参数更多的自回归稠密模型 Qwen2.5-3B,而且推理速度更快。这为扩散语言模型的技术可行性提供了关键验证。
AGI真正降临那天,人类意识上传终获「数字永生」!它将模拟大脑每一次脉冲,预测世界每一种变迁,甚至重构灵魂本质。新智元十周年峰会上,清华刘嘉教授带来了一场思想盛宴。他从脑科学角度,深入解析AGI如何突破生物桎梏,开启无限的可能。
表面上,AI正在狂飙突进;但背后,却是一群「看不见的人」在默默撑起这场科技竞赛。马斯克的xAI大规模裁员转型专家标注,谷歌外包工人被迫处理负面暴力内容。AI是靠无数普通人的劳动堆出来的。
Cursor Tab 是 Cursor 的核心功能之一,它通过分析开发者的编码行为,智能预测并推荐后续代码,开发者仅需按下 Tab 键即可采纳。然而,它也面临着一个 AI 普遍存在的难题:「过度热情」。有时,它提出的建议不仅毫无用处,甚至会打断开发者的思路。
你有没有过这样的体验:每天在十几个不同的应用之间来回切换,查看邮件、确认日程、处理发票,忙得焦头烂额却感觉效率低下?你可能会想,既然AI已经这么先进了,为什么我的数字生活还是如此支离破碎?一家名为 I
不得了,这个名叫Gauss(高斯)的新AI Agent,有点杀疯了的感觉。 因为它只用了三周的时间,就完成了陶哲轩和Alex Kontorovich提出的数学挑战——在Lean中形式化强素数定理(Prime Number Theorem,PNT)。
一句语音指令,复杂操作自动完成。安卓正迎来一场由AI语音快捷指令主导的交互革命,Shortcuts for Android (SFA) 不仅填补了与iOS快捷指令的差距,更正在重新定义人们与移动设备的互动方式。
前几天的 苹果发布会,算是近年来最名副其实的「科技春晚」了,尤其是 iPhone 17 和 iPhone Air 相当令人期待——当然了,没有 AI。 即使不强调 AI 卖点,这次的新品依然获得了显著
本周五,Meta AI 团队正式发布了 MobileLLM-R1。 这是 MobileLLM 的全新高效推理模型系列,包含两类模型:基础模型 MobileLLM-R1-140M-base、MobileLLM-R1-360M-base、MobileLLM-R1-950M-base 和它们相应的最终模型版。
AI是否会在5年内破解黎曼猜想?是否会保持每年5x的算力扩张节奏?十年后,AI将把我们带向一个什么样的世界?近日,Epoch AI负责人Jaime Sevilla,与数据与分析负责人Yafah Edelman在对话中,为我们揭示了未来十年AI发展的路线图。