别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练
别再卷数据了，LLM也怕「过劳死」！CMU等揭秘灾难性过度训练颠覆LLM预训练认知：预训练token数越多，模型越难调！CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。
来自主题: AI技术研报
7418 点击 2025-05-03 15:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
颠覆LLM预训练认知：预训练token数越多，模型越难调！CMU、斯坦福、哈佛、普林斯顿等四大名校提出灾难性过度训练。
Mona（Multi-cognitive Visual Adapter）是一种新型视觉适配器微调方法，旨在打破传统全参数微调（full fine-tuning）在视觉识别任务中的性能瓶颈。
4月25日，昆仑万维发布最新财报，2024年营收56.62亿元，同比增长15.2%，净利润亏损15.95亿元，同比下跌226.8%。这也是上市十年，昆仑万维首度亏损的一年。
根据他们刚发布的 2024 年财报，这家以“天工”大模型在国内引发不少关注的公司，2024 年的海外业务收入达到 51.5 亿元，海外业务收入占比竟然高达 91.0%！这在国内科技公司里，算的上“异类”。
她21岁创立AI公司，靠5%股份逆风翻盘！Lucy Guo如何从自学编程到辍学创业，超越Taylor Swift，成为全球最年轻的白手起家女亿万富翁？Scale AI最新估值为250亿美元，这也让联合创始人Lucy Guo凭借其股份身价暴涨。
从吸尘器到Optimus：机器人60年间的惊人变化。
Two Heads are Better Than One"（两个脑袋比一个好/双Agent更优）源自英语中的一句古老谚语。MAS-TTS框架的研究者将这一朴素智慧应用到LLM中，创造性地让多个智能体协同工作，如同专家智囊团。
公考行测中的逻辑推理题，是不少考生的噩梦，这次，CMU团队就此为基础，打造了一套逻辑谜题挑战。实测后发现，o1、Gemini-2.5 Pro、Claude-3.7-Sonnet这些顶尖大模型全部惨败！最强的AI正确率也只有57.5%，而人类TOP选手却能接近满分。
大模型聚合平台OpenRouter新推出的Optimus Alpha，已经处理了772亿Token，平均每天超过200亿。并且这个数字还在上升，日Token处理已超过340亿，排名第二，并在Trending榜单上位列第一。
OpenAI前CTO Mira Murati初创公司，正在筹集新融资。20亿美元（折合人民币146亿），还是种子轮！消息称一旦融资完成，Thinking Machines Lab估值将达到超100亿美元。