随着大型语言模型（LLM）技术的不断发展，Chain-of-Thought（CoT） 等推理增强方法被提出，以期提升模型在数学题解、逻辑问答等复杂任务中的表现，并通过引导模型逐步思考，有效提高了模型准确率。
过度依赖CoT思维链推理会降低模型性能，有新解了！ 来自字节、复旦大学的研究人员提出自适应推理框架CAR，能根据模型困惑度动态选择短回答或详细的长文本推理，最终实现了准确性与效率的最佳平衡。
1+1等于几？
上下文长度达 13 万 token，适用于多段文档综合分析、金融、法律、科研等复杂领域任务。
是的，秘塔AI搜索推出了全新“极速”模型。通过在GPU上进行kernel fusion，以及在CPU上进行动态编译优化，我们在单张H800 GPU上实现了最高400 tokens/秒的响应速度，大部分问题2秒内就能答完。
全球网友用闲置显卡组团训练大模型。40B大模型、20万亿token，创下了互联网上最大规模的预训练新纪录！去中心化AI的反攻，正式开始。OpenAI等巨头的算力霸权，这次真要凉了？
年仅19岁少年，自称破解了谷歌最快的语言模型Gemini Diffusion，引爆社交平台。真相扑朔迷离，但有一点毫无疑问：谷歌I/O大会的「黑马」，比GPT快10倍的速度、媲美人类程序员的代码能力，正在掀起一场NLP范式大洗牌。
英伟达，亲手打破了自己的天花板！刚刚，Blackwell单用户每秒突破了1000个token，在Llama 4 Maverick模型上，再次创下了AI推理的世界纪录。在官博中，团队放出了不少绝密武器。
谷歌又放新大招了，将图像生成常用的“扩散技术”引入语言模型，12秒能生成1万tokens。
在当前大模型推理愈发复杂的时代，如何快速、高效地产生超长文本，成为了模型部署与优化中的一大核心挑战。
