LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous Research,再次宣布了一项重大突破——DisTrO(分布式互联网训练)。
如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous Research,再次宣布了一项重大突破——DisTrO(分布式互联网训练)。
智东西8月29日消息,据Constellation Research今日报道,美国SaaS龙头Salesforce公布了截至2024年7月31日的2025财年第二季度业绩,第二财季Salesforce营收为93.2亿美元,同比增长8%。该公司将第三财季营收指引上调至93.1亿美元至93.6亿美元,同比增长7%;并维持2025财年全年营收指引为377亿美元至380亿美元,同比增长8%-9%。
发布40天后,最强开源模型Llama 3.1 405B等来了微调版本的发布。但不是来自Meta,而是一个专注于开放模型的神秘初创Nous Research。
本文介绍了一篇语言模型对齐研究的论文,由瑞士、英国、和法国的三所大学的博士生和 Google DeepMind 以及 Google Research 的研究人员合作完成。
最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大规模 GPU 集群)。他们认为,更强大的计算能力是实现更强大 AI 的关键。
2024 年谷歌研究学者计划(Research Scholar Program)获奖名单公布了。获奖者最高将获得 6 万美元奖金,用于支持研究工作。
AgentLite 便是其中一个起点,专注从科学研究的角度把 Agent 以及 Multi-Agent 的开发标准统一,让学术界的奇思妙想更快迭代
谷歌Research Lead,负责VideoPoet项目的蒋路,即将加入TikTok,负责视频生成AI的开发。
微软研究院上线了面向全球研究界的全新线上系列活动 Microsoft Research Forum,旨在共同探讨人工智能时代的最新研究进展、大胆新颖的想法以及全球研究界关注的重要议题。来自微软研究院全球各地的研究人员将分享他们的研究洞见,并与大家进行在线讨论,希望碰撞出更多新的思想火花。
Mixtral 8x7B模型开源后,AI社区再次迎来一大波微调实践。来自Nous Research应用研究小组团队微调出新一代大模型Nous-Hermes 2 Mixtral 8x7B,在主流基准测试中击败了Mixtral Instruct。