AI资讯新闻榜单内容搜索-上下文

关键词: 大模型,长文本能力,Lora,Temp-Lora

来看一个奇妙新解：和长度外推等方法使用KV缓存的本质不同，它用模型的参数来存储大量上下文信息。

关键词: Mamba,MoE-Mamba,MoE,模型训练

状态空间模型（SSM）是近来一种备受关注的 Transformer 替代技术，其优势是能在长上下文任务上实现线性时间的推理、并行化训练和强大的性能。而基于选择性 SSM 和硬件感知型设计的 Mamba 更是表现出色，成为了基于注意力的 Transformer 架构的一大有力替代架构。

关键词: 书生·浦语2.0,InternLM2,国产大模型

新一代国产开源大语言模型来了！200K超长上下文「完美」支持，20B版本综合性能全面领先。

关键词: AI游戏,AI NPC,大模型,百川智能,角色大模型

1月9日，百川智能正式发布角色大模型Baichuan-NPC。Baichuan-NPC优化了“角色知识”和“对话能力”，使模型能够更好的理解上下文对话语义，更加符合人物性格地进行对话和行动，让角色更加真实生动。

关键词: StreamingLLM,SwiftInfer,上下文

22倍加速还不够，再来提升46%，而且方法直接开源！这就是开源社区改进MIT爆火项目StreamingLLM的最新成果。

关键词: Mistral,羊驼,大模型,LongLM

无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍！而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。

关键词: 大模型,上下文限制,AI,LLM

作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。

关键词: 百川智能,192K上下文,5000万tokens

就在昨天，百川智能正式发布Baichuan2-Turbo系列API，192K的超长上下文窗口+搜索增强知识库，解决了困扰行业已久的大模型商用落地难问题。

关键词: GPT-4,Claude2.1

各家大模型纷纷卷起上下文窗口，Llama-1时标配还是2k，现在不超过100k的已经不好意思出门了。然鹅一项极限测试却发现，大部分人用法都不对，没发挥出AI应有的实力。

关键词: 北大微信AI,大模型上下文学习机制,机器学习

EMNLP顶会落下帷幕，各种奖项悉数颁出。最佳长论文奖被北大微信AI团队收入囊中，由北大孙栩老师和微信周杰、孟凡东合作指导。