
AI 应用还没有赛道
AI 应用还没有赛道马斯克的 xAI 可能会买下 Character AI(信息来源权威爆料媒体 The Information,马斯克随后否认),前者估值 240 亿美元,刚完成 60 亿美元的 B 轮融资,全球仅次于 OpenAI 的超级 AI 独角兽。
马斯克的 xAI 可能会买下 Character AI(信息来源权威爆料媒体 The Information,马斯克随后否认),前者估值 240 亿美元,刚完成 60 亿美元的 B 轮融资,全球仅次于 OpenAI 的超级 AI 独角兽。
自回归训练方式已经成为了大语言模型(LLMs)训练的标准模式, 今天介绍一篇来自阿联酋世界第一所人工智能大学MBZUAI的VILA实验室和CMU计算机系合作的论文,题为《FBI-LLM: Scaling Up Fully Binarized LLMs from Scratch via Autoregressive Distillation》
7月初,在约翰霍普金斯大学,资深科技记者、播客Pivot的联合主持人Kara Swisher与OpenAI CTO Mira Murati展开了一场火药味十足的对话,计算机科学家、斯坦福大学教授李飞飞也加入了提问阵营,他的另一个身份是Google云人工智能和机器学习首席科学家
低秩适应(Low-Rank Adaptation,LoRA)通过可插拔的低秩矩阵更新密集神经网络层,是当前参数高效微调范式中表现最佳的方法之一。此外,它在跨任务泛化和隐私保护方面具有显著优势。
具身智能是过去一年中和 LLM 一样受到市场高度关注的领域,通用机器人领域什么时候会出现「iPhone 时刻」?这是所有人都关注的问题。拾象团队在过去一年中也深度追踪通用机器人和机器人 foundation model 的进展。本篇文章是我们对机器人领域研究的开源。
84岁的美国老人Dorothy Elicati在失去结婚65年的丈夫后,每天醒来唯一做的事就是哭泣,直到一个AI机器人的出现。现在,美国会每年花费70万美元,为某些州的老年人免费发放这款机器人。
随着人工智能和大型模型技术的迅猛发展,检索增强生成(Retrieval-Augmented Generation, RAG)已成为大型语言模型生成文本的一种主要范式。
「无问芯穹」Infini-AI云平台已集成大模型异构千卡混训能力,是全球首个可进行单任务千卡规模异构芯片混合训练的平台。
开源大语言模型(LLM)百花齐放,为了让它们适应各种下游任务,微调(fine-tuning)是最广泛采用的基本方法。基于自动微分技术(auto-differentiation)的一阶优化器(SGD、Adam 等)虽然在模型微调中占据主流,然而在模型越来越大的今天,却带来越来越大的显存压力。
神经网络通常由三部分组成:线性层、非线性层(激活函数)和标准化层。线性层是网络参数的主要存在位置,非线性层提升神经网络的表达能力,而标准化层(Normalization)主要用于稳定和加速神经网络训练,很少有工作研究它们的表达能力,例如,以Batch Normalization为例