华为GTS LocMoE+:高可扩展性亲和度 MoE 架构,低开销实现主动路由
华为GTS LocMoE+:高可扩展性亲和度 MoE 架构,低开销实现主动路由MoE 因其在训推流程中低销高效的特点,近两年在大语言模型领域大放异彩。作为 MoE 的灵魂,专家如何能够发挥出最大的学习潜能,相关的研究与讨论层出不穷。此前,华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ,包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等,引发了广泛关注。
MoE 因其在训推流程中低销高效的特点,近两年在大语言模型领域大放异彩。作为 MoE 的灵魂,专家如何能够发挥出最大的学习潜能,相关的研究与讨论层出不穷。此前,华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ,包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等,引发了广泛关注。
李飞飞创办World Labs,估值超10亿美元。
「AI教母」创业,3个月就干出了估值10亿的AI独角兽。
给全球 80 亿人提供大规模、按需的个性化教育。
World Labs被曝已完成2轮融资,最新一轮融资金额约1亿美元。
80亿人平分不到一个费曼,但可以受教于更多AI教学助理。
离职OpenAI五个月后,AI大神Karpathy终于宣布自创业了。一家专注于AI+教育原生学校Eureka Labs,未来将面向全球80亿人,从0按需辅导AI。从产业界转身教育事业,是Karpathy近20年来的终极梦想,现如愿成真。
近期,商汤科技 - 南洋理工大学联合 AI 研究中心 S-Lab ,上海人工智能实验室,北京大学与密歇根大学联合提出 DreamGaussian4D(DG4D),通过结合空间变换的显式建模与静态 3D Gaussian Splatting(GS)技术实现高效四维内容生成。
为了让大模型在特定任务、场景下发挥更大作用,LoRA这样能够平衡性能和算力资源的方法正在受到研究者们的青睐。
Ray-Ban Meta智能眼镜销量超预期。