压缩思维链CCoT：一种突破性的高效AI推理新范式
压缩思维链CCoT：一种突破性的高效AI推理新范式在大语言模型（LLM）的发展历程中，思维链（Chain of Thought，CoT）推理无疑是一个重要的里程碑。
来自主题: AI技术研报
7922 点击 2024-12-24 09:51
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在大语言模型（LLM）的发展历程中，思维链（Chain of Thought，CoT）推理无疑是一个重要的里程碑。
一家总部位于美国加州的初创公司Tilde，正在构建解释器模型，解读模型的推理过程，并通过引导采样动态调整生成策略，提升大语言模型的推理能力和生成精度。相比直接优化提示的提示工程，这一方法展现出更灵活高效的潜力，有望重塑AI交互方式。
OpenAI o1大火之后，国内外上演的AI推理能力竞赛可以说是2024下半年AI领域最大看点了。
近期，微软研究团队发布了一项重要的研究成果，揭示了AI推理能力从传统的提示工程方法（如Medprompt）到原生推理机制（如OpenAI的o1）演进的全貌。此项研究为正在开发AI产品的朋友们提供了宝贵的技术洞察。本文将详细分析这一研究的过程和结论，探讨其对AI推理领域及产品开发的深远影响。
据路透社消息，OpenAI的首款自主研发AI芯片将于2026年亮相。此芯片由博通（Broadcom）负责设计，台积电（TSMC）进行代工，表明OpenAI开始深入硬件领域。该举措旨在通过定制推理芯片，降低运营成本、优化AI推理环节的效率，同时提高芯片供应链的灵活性和安全性。
不久之前，OpenAI 发布了 o1 系列模型，其强大的推理能力让我们看见了 AI 发展的新可能。近日，OpenAI 著名研究科学家 Noam Brown 一份 5 月的演讲上线网络，或可揭示 o1 背后的研究发展脉络。
虽然英伟达的GPU在AI训练领域的主导地位仍然难以撼动，但似乎有迹象表明，在AI推理方面，竞争对手正在迎头赶上这家科技巨头，尤其是在能效方面。
智东西8月28日消息，AI芯片独角兽Cerebras Systems于8月27日宣布推出AI推理服务Cerebras Inference，号称“全球最快”。该服务已经在云端上线。
LLM数学水平不及小学生怎么办？CMU清华团队提出了Lean-STaR训练框架，在语言模型进行推理的每一步中都植入CoT，提升了模型的定理证明能力，成为miniF2F上的新SOTA。
不用H100，三台苹果电脑就能带动400B大模型。 背后的功臣，是GitHub上的一个开源分布式AI推理框架，已经斩获了2.5k星标。