拆掉英伟达护城河,细节曝光!世界最快超算用3072块AMD GPU训完超万亿参数LLM
拆掉英伟达护城河,细节曝光!世界最快超算用3072块AMD GPU训完超万亿参数LLM世界上最快超算集群Frontier,用8%的GPU训练出了一个万亿级规模的大模型,而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文,展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。
搜索
世界上最快超算集群Frontier,用8%的GPU训练出了一个万亿级规模的大模型,而且是在AMD硬件平台之上完成。研究人员将训练的细节和克服的困难写成了一篇论文,展示了如何用非英伟达的生态完成大模型训练的技术框架和细节。
2022年10月30日,ChatGPT的横空出世,仅用几天的时间就改变了包括学术界在内的各行各业的,在OpenAI的成果的光辉下,有一个独特的模型,来自Meta团队的Galactica在ChatGPT三天前上线就被迫下线,这一度成为了LeCun教授的意难平。
近日,CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述,覆盖了 300 余篇相关论文,从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。
选择做个人AI计算机,用它补齐大模型和AI应用间缺失的那一环。
北大团队新作,让大模型拥有个性!而且还是自定义那种,16种MBTI都能选。
我基于结合大量示例及可视化的图形手段给大家科普了AI大模型的相关算法和核心概念。
自动驾驶中的大模型处理作为当前 AI 领域最为火热的前沿趋势之一,可赋能自动驾驶领域的感知、标注、仿真训练等多个核心环节。同时,也可以有效的提升感知精确度,有利于后续规划控制算法的实施,促进端到端自动驾驶框架的发展。
1月9日,百川智能正式发布角色大模型Baichuan-NPC。Baichuan-NPC优化了“角色知识”和“对话能力”,使模型能够更好的理解上下文对话语义,更加符合人物性格地进行对话和行动,让角色更加真实生动。
2024 年伊始,中国电信开源星辰语义大模型-7B,成为第一家开源大模型的央企。同时开源的还有超 1T 的高质量清洗基础数据。
在过去的一段时间里,“AI-native”成为所有工具的一个显著探索趋势,不论是算力集群的智算中心,还是数据库侧的向量数据库,再或者是不断进化的算法,都在以一种更适配大模型架构的方式被推演出来。