AI资讯新闻榜单内容搜索-token

关键词: StreamingLLM,SwiftInfer,上下文

22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。

关键词: LLM,StreamingLLM

在大型语言模型（LLM）的世界中，处理多轮对话一直是一个挑战。前不久麻省理工 Guangxuan Xiao 等人推出的 StreamingLLM，能够在不牺牲推理速度和生成效果的前提下，可实现多轮对话总共 400 万个 token 的流式输入，22.2 倍的推理速度提升。

关键词: 九天多模态大模型,若愚科技,机器人大模型

若愚科技与哈工深联合研发了语言大模型基座---立知和多模态大模型基座---九天，总参数规模达130亿，训练数据超1500B tokens, 能完成多任务、多轮对话、中英翻译、思维链、工具使用等多种类型的指令数据

关键词: 涌现,大模型,token,LLM

2023年，计算机领域都发生了哪些大事？Quanta Magazine的年终盘点来了。

关键词: 百川智能,192K上下文,5000万tokens

就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。

关键词: Ilya,AGI,openai

被评为「2023年10大科学人物」的Ilya Sutskever，曾经多次强调：只要能够非常好得预测下一个token，就能帮助人类达到AGI。

关键词: EAGLE,大模型,大模型推理,LLM

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。

关键词: LLM,大模型,Transformer

只需不到9行代码，就能在CPU上实现出色的LLM推理性能。英特尔® Extension for Transformer创新工具包中的LLM Runtime为诸多模型显著降低时延，且首个token和下一个token的推理速度分别提升多达40倍和2.68倍，还能满足更多场景应用需求。

关键词: 羊驼,LLM,token,羊驼模型

小羊驼团队的新研究火了。他们开发了一种新的解码算法，可以让模型预测100个token数的速度提高1.5-2.3倍，进而加速LLM推理。

关键词: 昆仑万维模型,Skywork-13B,AI大模型

开源最彻底的大模型来了——130亿参数，无需申请即可商用。 不仅如此，它还附带着把全球最大之一的中文数据集也一并开源了出来：600G、1500亿tokens！