预训练还没终结！港中文清华等提出「三位一体」框架，持续自我进化
预训练还没终结！港中文清华等提出「三位一体」框架，持续自我进化港中文、清华等高校提出SICOG框架，通过预训练、推理优化和后训练协同，引入自生成数据闭环和结构化感知推理机制，实现模型自我进化，为大模型发展提供新思路。
来自主题: AI技术研报
8098 点击 2025-04-11 09:36
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
港中文、清华等高校提出SICOG框架，通过预训练、推理优化和后训练协同，引入自生成数据闭环和结构化感知推理机制，实现模型自我进化，为大模型发展提供新思路。
刚刚，DeepSeek官方发布DeepSeek-V3模型更新技术报告。V3新版本在数学、代码类相关评测集成绩超过GPT-4.5！而且这只是通过改进后训练方法实现。DeepSeek-V3-0324和之前的DeepSeek-V3使用同样的base模型。
OpenAI 又有重量级员工出走！这次是后训练负责人、研究副总裁 William Fedus。今天凌晨，Fedus 在 X 上发表了一则公开离职信，讲述了他离职的原因以及今后的去向。
DeepSeek热潮将在预训练、后训练（二次训练）和推理三大细分市场都带来巨大改变。
离开OpenAI后，他们俩把ChatGPT后训练方法做成了PPT，还公开了～
Ilya Sutskever 在 NeurIPS 会上直言：大模型预训练这条路可能已经走到头了。上周的 CES 2025，黄仁勋有提到，在英伟达看来，Scaling Laws 仍在继续，所有新 RTX 显卡都在遵循三个新的扩展维度：预训练、后训练和测试时间（推理），提供了更佳的实时视觉效果。
本月，OpenAI科学家就当前LLM的scaling方法论能否实现AGI话题展开深入辩论，认为将来AI至少与人类平分秋色；LLM scaling目前的问题可以通过后训练、强化学习、合成数据、智能体协作等方法得到解决；按现在的趋势估计，明年LLM就能赢得IMO金牌。
一个全新的模型能力衡量指标诞生了？！
Allen Institute for AI（AI2）发布了Tülu 3系列模型，一套开源的最先进的语言模型，性能与GPT-4o-mini等闭源模型相媲美。Tülu 3包括数据、代码、训练配方和评估框架，旨在推动开源模型后训练技术的发展。
OpenAI“双12”刚进行到第二天，就把大模型圈搅得好不热闹！ 一边是Meta没预告就发布了Llama 3.3，70B版本就能实现以前405B的性能。