Meta全新发布的基准Multi-IF涵盖八种语言、4501个三轮对话任务，全面揭示了当前LLM在复杂多轮、多语言场景中的挑战。所有模型在多轮对话中表现显著衰减，表现最佳的o1-preview模型在三轮对话的准确率从87.7%下降到70.7%；在非拉丁文字语言上，所有模型的表现显著弱于英语。
11 月 23 日，香港科技大学举行了今年度的学位颁授典礼。英伟达创始人和 CEO 黄仁勋又新增一个荣誉工程学博士头衔，与他一同获得荣誉博士学位的还有著名影星梁朝伟、2013 年诺贝尔化学奖得主 Michael Levitt、菲尔兹奖得主 David Mumford。
AI自主研发会真的「失控」了吗？最新研究显示，Claude 3.5 Sonnet和o1-preview在2小时内的研发任务中，击败了50多位人类专家。但另一个耐人寻味的现象是，给予更长时间周期后，人类专家在8小时任务中优势显现。
自从 OpenAI 发布展现出前所未有复杂推理能力的 o1 系列模型以来，全球掀起了一场 AI 能力 “复现” 竞赛。近日，上海交通大学 GAIR 研究团队在 o1 模型复现过程中取得新的突破，通过简单的知识蒸馏方法，团队成功使基础模型在数学推理能力上超越 o1-preview。
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
kimi全面开放一周年之际，创始人杨植麟亲自发布新模型—— 数学模型k0-math，对标OpenAI o1系列，主打深入思考。 在MATH、中考、高考、考研4个数学基准测试中，k0-math成绩超过o1-mini和o1-preview。
大模型的具身智能决策能力，终于有系统的通用评估基准了。
这可能是最懂 AI 产品的两位 PM 之间的对谈。Kevin Weil，OpenAI CPO（首席产品官），之前曾是 Instagram、Twitter 的产品副总裁。Mike Kreiger，Anthropic CPO，曾担任 Instagram 的联合创始人、CTO。
Devin，全球第一款号称「AI程序员」的应用，号称可以完成从写代码、改bug，一直到部署上线运维的软件开发全流程。
这是Perplexity CEO Aravind Srinivas 不久前在 TechCrunch Disrupt 上与 TechCrunch 高级编辑 Devin Coldewey 的一场对话。
