算法、系统和应用，三个视角全面读懂混合专家（MoE）
算法、系统和应用，三个视角全面读懂混合专家（MoE）LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
来自主题: AI技术研报
6317 点击 2024-07-26 17:57
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
LLM 很强，而为了实现 LLM 的可持续扩展，有必要找到并实现能提升其效率的方法，混合专家（MoE）就是这类方法的一大重要成员。
智谱大模型团队自研打造。
40秒生成3D视频，Stability AI开源首个视频生视频模型。
Transformer中的信息流动机制，被最新研究揭开了：
继分不清9.11和9.9哪个大以后，大模型又“集体失智”了！
OpenAI的最新AGI布局——5级路线图再被吐槽是营销手段，不仅对「超级智能」命名和定义存在模糊之处，5个级别的层次结构也被诟病「逻辑混乱」？
随着企业纷纷采用AI技术来自动筛选简历、评估面试，我们不禁会发出疑问：这些「AI招聘官」到底是铁面无私、一视同仁，还是携带偏见越走越远？
9次迭代后，模型开始出现诡异乱码，直接原地崩溃！就在今天，牛津、剑桥等机构的一篇论文登上了Nature封面，称合成数据就像近亲繁殖，效果无异于投毒。有无破解之法？那就是——更多使用人类数据！
AI 竞赛正以前所未有的速度加速，继 Meta 昨天推出其新的开源 Llama 3.1 模型之后，法国 AI 初创公司 Mistral AI 也加入了竞争。
OpenAI 的新奖励机制，让大模型更听话了。