单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE
单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
来自主题: AI技术研报
9985 点击 2024-07-10 18:39
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。
科学家们一直致力于让机器人更敏捷，此次哈佛大学与谷歌DeepMind人工智能实验室的合作有了新突破。他们创造出了一只搭载了AI大脑的「虚拟大鼠」，能够模仿真实啮齿动物的所有动作，甚至做出了一些没有被明确训练过的「新奇行为」。此项研究有望开辟「虚拟神经科学」新领域，对于脑科学和机器人学意义重大。
ChatGPT能耗惊人，该怎么解？谷歌DeepMind新算法JEST问世，让LLM训练的迭代次数降低13倍，计算量减少10倍，或将重塑AI未来。
谷歌的Gemma 2刚刚发布，清华和北航的两名博士生就已经成功推出了指令微调版本，显著增强了Gemma 2 9B/27B模型的中文通用对话、角色扮演、数学、工具使用等能力。
近日，来自谷歌DeepMind的研究人员，推出了专门用于评估大语言模型时间推理能力的基准测试——Test of Time（ToT），从两个独立的维度分别考察了LLM的时间理解和算术能力。
7月4日，2024世界人工智能大会（WAIC 2024）在上海召开，主题为“以共商促共享 以善治促善智”，层级、规模相比前六届升级扩容，其中参展企业数、亮点展品数、首发新品数均达历史最高。谷歌、特斯拉、百度等国内外科技巨头齐聚现场，展示大模型技术与“人工智能+”创新应用的最新成果。
随着个性化聊天机器人的新鲜感逐渐消失，竞争也愈演愈烈。Meta Platforms 在去年秋天发布了以汤姆-布雷迪（Tom Brady）等名人为模型的聊天机器人后，上周开始测试由个人创建者制作的聊天机器人。谷歌也一直在开发一款用于创建和与定制聊天机器人对话的产品，最快可能在今年推出。
最近，在美国00后中爆火的Character AI，竟然把聊天机器人对话模型给「阉割」了？愤怒的年轻人们冲进社区，抱怨的声浪快要掀翻天了！而这背后，似乎还有谷歌或Meta的授意。
可在单张A100/H100 GPU或TPU主机上高效运行全精度推理。
性能翻倍的Gemma 2， 让同量级的Llama3怎么玩？