OpenAI重磅发布的GPT-4.1系列模型，带来了编程、指令跟随和长上下文处理能力的全面飞跃！由中科大校友Jiahui Yu领衔的团队打造。与此同时，备受争议的GPT-4.5将在三个月后停用，GPT-4.1 nano则以最小、最快、最便宜的姿态强势登场。
根据官方介绍，Augment Agent 是首个转为大型代码库工作的专业软件工程师设计的 AI 编码助手，上下文支持 200K ，也就是 20 万的 token 啊。
今天在各大信息渠道看到 Llama4 发布的消息，一上来就放出三个模型，具体能力这里就不在赘述，相信大家已经多少看到不少介绍了。
原生多模态Llama 4终于问世，开源王座一夜易主！首批共有两款模型Scout和Maverick，前者业界首款支持1000万上下文单H100可跑，后者更是一举击败了DeepSeek V3。目前，2万亿参数巨兽还在训练中。
近来风头正盛的GPT-4.5，不仅在日常问答中展现出惊人的上下文连贯性，在设计、咨询等需要高度创造力的任务中也大放异彩。
大模型同样的上下文窗口，只需一半内存就能实现，而且精度无损？ 前苹果ASIC架构师Nils Graef，和一名UC伯克利在读本科生一起提出了新的注意力机制Slim Attention。
长文本任务是当下大模型研究的重点之一。在实际场景和应用中，普遍存在大量长序列（文本、语音、视频等），有些甚至长达百万级 tokens。
LLM自身有望在无限长token下检索信息！无需训练，在检索任务「大海捞针」（Needle-in-a-Haystack）测试中，新方法InfiniRetri让有效上下文token长度从32K扩展至1000+K，让7B模型比肩72B模型。
在 ChatGPT 爆火两年多的时间里，大语言模型的上下文窗口长度基准线被拉升，以此为基础所构建的长 CoT 推理、多 Agent 协作等类型的高级应用也逐渐增多。
开源微调神器Unsloth带着黑科技又来了：短短两周后，再次优化DeepSeek-R1同款GRPO训练算法，上下文变长10倍，而显存只需原来的1/10！
