单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速
单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
来自主题: AI技术研报
7077 点击 2024-07-09 17:24
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
微软的这项研究让开发者可以在单卡机器上以 10 倍的速度处理超过 1M 的输入文本。
如何在有限的内存下实现高效的大模型推理，是端侧AI发展的重要任务。
近日，一篇出自中国团队之手的AI论文在外网引发热议。论文中，研究团队提出了Q*模型算法，帮助Llama-2-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力，使模型性能迎来惊人提升。
自 OpenAI 的 Q* 项目曝光后，引发业内众多讨论。据现有信息汇总，Q* 项目被视作 OpenAI 在探索人工通用智能（Artificial General Intelligence, AGI）道路上的一次重大尝试，有望在包括数学问题解决能力、自主学习和自我改进等多个层面对人工智能技术带来革新性突破。
大模型推理速度提升50%以上，还能保证少样本学习性能！
近年来，大语言模型（Large Language Models, LLMs）受到学术界和工业界的广泛关注，得益于其在各种语言生成任务上的出色表现，大语言模型推动了各种人工智能应用（例如ChatGPT、Copilot等）的发展。然而，大语言模型的落地应用受到其较大的推理开销的限制，对部署资源、用户体验、经济成本都带来了巨大挑战。
以 OpenAI 的 GPT 系列模型为代表的大语言模型（LLM）掀起了新一轮 AI 应用浪潮，但是 LLM 推理的高昂成本一直困扰着业务团队。
5 月 21 日上午，阿里云在其例行峰会上，意外地释放了大降价的消息：通义千问 GPT-4 级主力模型推理输入价格降至 0.5 元/百万 tokens，直降 97%。
两周前，OpenBMB开源社区联合面壁智能发布领先的开源大模型「Eurux-8x22B 」。相比口碑之作 Llama3-70B，Eurux-8x22B 发布时间更早，综合性能相当，尤其是拥有更强的推理性能——刷新开源大模型推理性能 SOTA，堪称开源大模型中「理科状元」。
“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？