做出最好大模型的 CEO，不认为 Scaling Law 撞墙了
做出最好大模型的 CEO，不认为 Scaling Law 撞墙了Claude 3.5 Sonnet 应该是目前公认综合能力最好的基础模型。
来自主题: AI资讯
9306 点击 2024-11-23 11:19
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Claude 3.5 Sonnet 应该是目前公认综合能力最好的基础模型。
大模型不会照搬训练数据中的数学推理，回答事实问题和推理问题的「思路」也不一样。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
Scaling Law撞墙，扩展语言智能体的推理时计算实在太难了！破局之道，竟是使用LLM作为世界模型？OSU华人团队发现，使用GPT-4o作为世界模型来支持复杂环境中的规划，潜力巨大。
今年 4 月，AI 领域大牛 Karpathy 一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」曾经引发机器学习社区的热烈讨论。
Powerful AI 预计会在 2026 年实现，足够强大的 AI 也能够将把一个世纪的科研进展压缩到 5-10 年实现（“Compressed 21st Century”），在他和 Lex Fridman 的最新对谈中，Dario 具体解释了自己对于 Powerful AI 可能带来的机会的理解，以及 scaling law、RL、Compute Use 等模型训练和产品的细节进行了分享
随着开源数据的日益丰富以及算力价格的持续下降，对于个人或小型机构而言，预训练一个小型的 LLM 已逐渐成为可能。开源中文预训练语言模型 Steel - LLM 就是一个典型案例，其模型参数量与数据量并非十分庞大，基本处于参数量为 B 级别、数据量为 T 级别的规模。
在数据分布持续变化的动态环境中，如何进行连续模型泛化？
近日，来自斯坦福、MIT等机构的研究人员推出了低秩线性转换方法，让传统注意力无缝转移到线性注意力，仅需0.2%的参数更新即可恢复精度，405B大模型两天搞定！
论文提出了一种RAG任务分类法，将用户查询分为四个级别，并讨论了将外部数据集成到LLMs中的三种主要方式。从简单的事实检索到复杂的推理任务，每个级别都有其独特的难点和解决方案，需要不同的技术和方法来优化性能。