迈向System 2推理，100页论文硬核讲述Meta-CoT
迈向System 2推理，100页论文硬核讲述Meta-CoTMeta-CoT 通过显式建模生成特定思维链（CoT）所需的底层推理过程，扩展了传统的思维链方法。
来自主题: AI资讯
7125 点击 2025-01-12 10:08
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Meta-CoT 通过显式建模生成特定思维链（CoT）所需的底层推理过程，扩展了传统的思维链方法。
本文将介绍首个关于 o1 类长思维链模型过度思考现象。该工作由腾讯 AI Lab 与上海交通大学团队共同完成。
2023 年初，Jason Wei 加入了 OpenAI，参与了 ChatGPT 的构建以及 o1 等重大项目。他的工作使思维链提示、指令微调和涌现现象等技术和概念变得广为人知。
最近，类 o1 模型的出现，验证了长思维链 (CoT) 在数学和编码等推理任务中的有效性。在长思考（long thought）的帮助下，LLM 倾向于探索、反思和自我改进推理过程，以获得更准确的答案。
在大语言模型（LLM）的发展历程中，思维链（Chain of Thought，CoT）推理无疑是一个重要的里程碑。
针对大语言模型的推理任务，近日，Meta田渊栋团队提出了一个新的范式：连续思维链，对比传统的CoT，性能更强，效率更高。
大语言模型（LLMs）通过更多的推理展现出了更强的能力和可靠性，从思维链提示发展到了 OpenAI-o1 这样具有较强推理能力的模型。
一般而言，LLM 被限制在语言空间（language space）内进行推理，并通过思维链（CoT）来表达推理过程，从而解决复杂的推理问题。
目前大语言模型（Large Language Models, LLMs）的推理能力备受关注。从思维链（Chain of Thought，CoT）技术提出，到以 o1 为代表的长思考模型发布，大模型正在展现出接近人类甚至领域专家的水平，其中数学推理是一个典型任务。
大语言模型（LLMs）在推理任务上展现出了令人瞩目的能力，但其推理思维方式的单一性一直是制约性能提升的关键瓶颈。目前的研究主要关注如何通过思维链（Chain-of-Thought）等方法来提升推理的质量，却忽视了一个重要维度——推理类型的多样性。