OpenAI 最近发布的 o1 模型在数学、代码生成和长程规划等复杂任务上取得了突破性进展，据业内人士分析披露，其关键技术在于基于强化学习的搜索与学习机制。通过迭代式的自举过程，o1 基于现有大语言模型的强大推理能力，生成合理的推理过程，并将这些推理融入到其强化学习训练过程中。
哈佛大学研究了大型语言模型在回答晦涩难懂和有争议问题时产生「幻觉」的原因，发现模型输出的准确性高度依赖于训练数据的质量和数量。研究结果指出，大模型在处理有广泛共识的问题时表现较好，但在面对争议性或信息不足的主题时则容易产生误导性的回答。
近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。
数学界对AI在数学中应用的看法存在分歧，但年轻一代更支持AI和验证工具。Vlad指出，通过递归自我改进，AI有潜力在数学和其他复杂问题上取得重大突破。随着AI在模式识别和自我改进方面的进步，它可能参与解决大型数学难题，如黎曼猜想。同时，数学家仍将在引导AI方向、规划研究领域和解释结果方面起关键作用。
大模型分不清“9.9和9.11哪个更大”的谜团，终于被可解释性研究揭秘了！
最近，字节在AI方面又搞了个大新闻。 一个字节的实习生，因为对团队资源分配不满，用恶意代码把模型训练过程给投了“毒”，字节这边损失不小
工具调用是 AI 智能体的关键功能之一，AI 智能体根据场景变化动态地选择和调用合适的工具，从而实现对复杂任务的自动化处理。例如，在智能办公场景中，模型可同时调用文档编辑工具、数据处理工具和通信工具，完成文档撰写、数据统计和信息沟通等多项任务。
TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
在人形机器人领域，有一个非常值钱的问题：既然人形机器人的样子与人类类似，那么它们能使用网络视频等数据进行学习和训练吗？
现有的大模型主要依赖固定的参数和数据来存储知识，一旦训练完成，修改和更新特定知识的代价极大，常常因知识谬误导致模型输出不准确或引发「幻觉」现象。因此，如何对大模型的知识记忆进行精确控制和编辑，成为当前研究的前沿热点。
