DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升
DeepSeek团队新作：把代码变成思维链，大模型推理各种能力全面提升用代码训练大模型思考，其他方面的推理能力也能提升。
来自主题: AI技术研报
5031 点击 2025-02-18 10:40
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
用代码训练大模型思考，其他方面的推理能力也能提升。
AI具备的能力，本质上来自算法和训练大模型所用的数据，数据的数量和质量会对大模型起到决定性作用。此前OpenAI工作人员表示，因没有足够多的高质量数据，Orion项目（即GPT-5）进展缓慢。不得已之下，OpenAI招募了许多数学家、物理学家、程序员原创数据，用于训练大模型。
Fine-tuning理论上很复杂，但是OpenAI把这个功能完善到任何一个人看了就能做出来的程度。我们先从原理入手，你看这张图，左边是Pre-trained LLM （预训练大模型模型），也就是像ChatGPT这样的模型；右边是Fine-tuned LLM （微调过的语言大模型），中间就是进行微调的过程，它需要我们提供一些「ChatGPT提供不了但是我们需要的东西」。
让大模型能快速、准确、高效地吸收新知识！
随着LLM的进步，它将超越代码补全（“Copilot”）的功能，进入代码创作（“Autopilot”）的领域。随着LLM变得越来越复杂，它们能够释放的经济价值也会越来越大。AGI的经济价值仅受我们的想象力限制。
近年来，Transformer等预训练大模型在语言理解及生成等领域表现出色，大模型背后的Scaling Law（规模定律）进一步揭示了模型性能与数据量、算力之间的关系，强化了数据在提升AI表现中的关键作用。
自从大型 Transformer 模型逐渐成为各个领域的统一架构，微调就成为了将预训练大模型应用到下游任务的重要手段
众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由于这些工作负载的规模和复杂性，导致训练大模型存在着独特的系统性挑战。
如果让你在互联网上给大模型选一本中文教材，你会去哪里取材？是知乎，是豆瓣，还是微博？一个研究团队为了构建高质量的中文指令微调数据集，对这些社交媒体进行了测试，想找到训练大模型最好的中文预料，结果答案保证让你大跌眼镜——
2022 年底，随着 ChatGPT 的爆火，人类正式进入了大模型时代。然而，训练大模型需要的时空消耗依然居高不下，给大模型的普及和发展带来了巨大困难。面对这一挑战，原先在计算机视觉领域流行的 LoRA 技术成功转型大模型 [1][2]，带来了接近 2 倍的时间加速和理论最高 8 倍的空间压缩，将微调技术带进千家万户。