MoE也有Scaling Law,「百万专家」利用率近100%!DeepMind华人挑战MoE极限
MoE也有Scaling Law,「百万专家」利用率近100%!DeepMind华人挑战MoE极限MoE已然成为AI界的主流架构,不论是开源Grok,还是闭源GPT-4,皆是其拥趸。然而,这些模型的专家,最大数量仅有32个。最近,谷歌DeepMind提出了全新的策略PEER,可将MoE扩展到百万个专家,还不会增加计算成本。
搜索
MoE已然成为AI界的主流架构,不论是开源Grok,还是闭源GPT-4,皆是其拥趸。然而,这些模型的专家,最大数量仅有32个。最近,谷歌DeepMind提出了全新的策略PEER,可将MoE扩展到百万个专家,还不会增加计算成本。
AI救了孙正义
全球第一大半导体代工厂台积电的市值在本周一度超过1万亿美元,该公司将在本月晚些时候公布二季度财报,届时,将会再带动一波股票飞涨。其2nm芯片也进展顺利,最快将于下周试产,早于市场预期。
2022年,Google研究团队发表了名为《思路链提示引发大型语言模型的推理》的开创性论文,引入了思维链(Chain of Thought, CoT)prompting技术。
在众多人工智能顶会中,NeurIPS 属于什么段位?有人将其代入《甄嬛传》宇宙做了张图:大概配享「后位」。
近2年高歌猛进之后,AI可能会迎来自己的一个小低潮。
准确诊断痴呆症有利于老年人晚年的身体健康,并减轻他们的家庭负担。
研究者表示,如果 Sytem 2 蒸馏可以成为未来持续学习 AI 系统的重要特征,则可以进一步提升 System 2 表现不那么好的推理任务的性能。
7月6日,「2024 WAIC 人工智能赋能产业融通发展论坛」在世博展览馆隆重举行
启明创投举办AI论坛,探讨生成式AI发展。