清华校友团队最新成果发现：写作、咨询、编程等相关自由职业最终可能被AI取代，而且更关键的是，AI能力一旦超过某个「拐点」，对就业市场的冲击将一发不可收拾。
1月8日，环球时报社、中国科协新技术开发中心和清华大学技术创新研究中心联合发布了50大“新质生产力产业实践示范案例”，华为云盘古大模型凭借在技术能力、应用实践等方面的突出表现，成功入选“人工智能”示范案例TOP5。
1/10训练数据激发高级推理能力！近日，来自清华的研究者提出了PRIME，通过隐式奖励来进行过程强化，提高了语言模型的推理能力，超越了SFT以及蒸馏等方法。
OpenAI o1和o3模型的发布证明了强化学习能够让大模型拥有像人一样的快速迭代试错、深度思考的高阶推理能力，在基于模仿学习的Scaling Law逐渐受到质疑的今天，基于探索的强化学习有望带来新的Scaling Law。
微调大模型的数据隐私可能泄露？ 最近华科和清华的研究团队联合提出了一种成员推理攻击方法，能够有效地利用大模型强大的生成能力，通过自校正机制来检测给定文本是否属于大模型的微调数据集。
在机器人空间泛化领域，原来也有一套Scaling Law！ 来自清华和新加坡国立大学的团队，发现了空间智能的泛化性规律。 在此基础上，他们提出了一套新颖的算法框架——ManiBox，让机器人能够在真实世界中应对多样化的物体位置和复杂的场景布置。
控制无人机执行敏捷、高机动性的行为是一项颇具挑战的任务。传统的控制方法，比如 PID 控制器和模型预测控制（MPC），在灵活性和效果上往往有所局限。而近年来，强化学习（RL）在机器人控制领域展现出了巨大的潜力。通过直接将观测映射为动作，强化学习能够减少对系统动力学模型的依赖。
大模型中，线性层的低比特量化已经逐步落地。然而，对于注意力模块，目前几乎各个模型都还在用高精度（例如 FP16 或 FP32）的注意力运算进行训练和推理。并且，随着大型模型需要处理的序列长度不断增加，Attention（注意力运算）的时间开销逐渐成为主要开销。
上周发出《AI时代写Prompt应该用APPL：为Prompt工程打造的编程语言，来自清华姚班的博士》之后，文章中实现了一个Google DeepMind的OPRO简单版本的优化方法，这让很多读者非常着迷。
目前关于 RLHF 的 scaling（扩展）潜力研究仍然相对缺乏，尤其是在模型大小、数据组成和推理预算等关键因素上的影响尚未被系统性探索。 针对这一问题，来自清华大学与智谱的研究团队对 RLHF 在 LLM 中的 scaling 性能进行了全面研究，并提出了优化策略。
