后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述
后训练时代如何延续Scaling Law？这是你该读的LLM后训练综述现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
来自主题: AI技术研报
7831 点击 2025-05-02 14:03
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
现如今，微调和强化学习等后训练技术已经成为提升 LLM 能力的重要关键。
来自英伟达和UIUC的华人团队提出一种高效训练方法，将LLM上下文长度从128K扩展至惊人的400万token SOTA纪录！基于Llama3.1-Instruct打造的UltraLong-8B模型，不仅在长上下文基准测试中表现卓越，还在标准任务中保持顶尖竞争力。
我又发现好东西了！前几天在 Artificial Analysis 上发现了一个新模型：17B 参数的国产模型 HiDream-I1排到第二名，和 GPT-4o 得分非常接近！
近日，以色列宣布与以色列AI“数字化身”制作平台eSelf、以色列最大的K12教科书出版商CET（Center for Educational Technology）合作，在全国范围内铺开AI辅导。
北京时间4月29日，据《华尔街日报》报道，OpenAI CEO萨姆·奥特曼(Sam Altman)曾表示，OpenAI与微软拥有堪称“科技界最好的合作关系”。然而，这段硅谷“联姻”已经岌岌可危。
医疗大模型知识覆盖度首次被精准量化！
训练成本高昂已经成为大模型和人工智能可持续发展的主要障碍之一。
香港英文媒体《南华早报》29日援引两名知情人士的话报道称，微软研究院纽约实验室的高级研究员兰姆（Alex Lamb）将于即将到来的秋季学期加入新成立的清华大学人工智能学院（College of AI），担任助理教授。兰姆在一封电子邮件中证实了这一消息。
新的亿级大规模图文对数据集来了，CLIP达成新SOTA！
本月初，代表全美2200多家新闻机构的新闻/媒体联盟（News/Media Alliance）发起“支持负责任AI”运动，呼吁监管机构强制科技巨头为AI产品使用的内容付费。但就在美国媒体抱团保卫自己的知识产权时，单打独斗的维基百科则宣布向AI厂商“投降”。