AI资讯新闻榜单内容搜索-MOE模型

关键词: token,MoE,Lory,模型训练,AI

前几天，普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型，论文提出构建完全可微的MoE模型，是一种预训练自回归语言模型的新方法。

关键词: token,MoE,大模型,GPT-4-Turbo,DeepSeek-V2,DeepSeek AI

开源大模型领域，又迎来一位强有力的竞争者。

关键词: Llama 3,Arctic,Dense-MoE,Mixtral

就在刚刚，拥有128位专家和4800亿参数的Arctic，成功登上了迄今最大开源MoE模型的宝座。

关键词: Snowflake,Llama3,开源模型,企业智能,LLM

Snowflake 发布高「企业智能」模型 Arctic，专注于企业内部应用。

关键词: Mistral AI,8x22B MoE,欧洲openai,Llama 2

一条磁力链，Mistral AI又来闷声不响搞事情。

关键词: Llama-2,MoE,贾扬清,SD,模型训练

“只需”10万美元，训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了：它叫JetMoE，来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。

关键词: 多模态,MOE模型,LL3M,CVPR,AI

一年一度的CVPR 2024录用结果出炉了。今年，共有2719篇论文被接收，录用率为23.6%。

关键词: MoE-LLaVA,MoE,7B LLaVA,3B模型

混合专家（MoE）架构已支持多模态大模型，开发者终于不用卷参数量了！北大联合中山大学、腾讯等机构推出的新模型MoE-LLaVA，登上了GitHub热榜。

关键词: Mistral AI,8x7B MoE,MoE

「高端」的开源，往往采用最朴素的发布方式。昨天，Mistral AI 在 X 平台甩出一条磁力链接，宣布了新的开源动作。