AI资讯新闻榜单内容搜索-MoE+

关键词: AI,AI架构,模型训练,MoE++

比传统MoE推理速度更快、性能更高的新一代架构，来了！ 这个通用架构叫做MoE++，由颜水成领衔的昆仑万维2050研究院与北大袁粒团队联合提出。

关键词: LocMoE,MoE,AI,大模型,模型训练

MoE 因其在训推流程中低销高效的特点，近两年在大语言模型领域大放异彩。作为 MoE 的灵魂，专家如何能够发挥出最大的学习潜能，相关的研究与讨论层出不穷。此前，华为 GTS AI 计算 Lab 的研究团队提出了 LocMoE ，包括新颖的路由网络结构、辅助降低通信开销的本地性 loss 等，引发了广泛关注。

关键词: MoE+,多模态模型,阶跃星辰,AI

在今天揭幕的 2024 世界人工智能大会暨人工智能全球治理高级别会议（简称“WAIC 2024”）上，阶跃星辰首发了三款 Step 系列通用大模型新品：Step-2 万亿参数语言大模型正式版、Step-1.5V 多模态大模型、Step-1X 图像生成大模型。

关键词: MoE+,多模态模型,阶跃星辰,AI

在 2024 年世界人工智能大会的现场，很多人在一个展台前排队，只为让 AI 大模型给自己在天庭「安排」一个差事。

关键词: MoE,多模态,多模态大模型

多模态大模型做“多任务指令微调”，大模型可能会“学得多错得多”，因为不同任务之间的冲突，导致泛化能力下降。