AI资讯新闻榜单内容搜索-长上下文

关键词: AI,DeepMind,模型训练,人工智能

近日，来自谷歌DeepMind的研究人员提出了Michelangelo，「用米开朗基罗的观点」来测量任意上下文长度的基础模型性能。

关键词: AI,RAG,长上下文,检索增强,OP-RAG

曾几何时，LLM还是憨憨的。 脑子里的知识比较混乱，同时上下文窗口长度也有限。 检索增强生成（RAG）的出现在很大程度上提升了模型的性能。

关键词: AI,多模态大模型,LongLLaVA,医疗AI

扩展多模态大语言模型（MLLMs）的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化，包括模型架构、数据构建和训练策略，尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。

关键词: Jamba,Mamba ,Transformer,AI

Jamba是第一个基于 Mamba 架构的生产级模型。Mamba 是由卡内基梅隆大学和普林斯顿大学的研究人员提出的新架构，被视为 Transformer 架构的有力挑战者。

关键词: LongVILA,模型训练,VLM,视觉语言模型

现在，长上下文视觉语言模型（VLM）有了新的全栈解决方案 ——LongVILA，它集系统、模型训练与数据集开发于一体。

关键词: GPT-4o,AI,LLM,token,上下文

当今的LLM已经号称能够支持百万级别的上下文长度，这对于模型的能力来说，意义重大。但近日的两项独立研究表明，它们可能只是在吹牛，LLM实际上并不能理解这么长的内容。

关键词: Gemini 1.5 Pro,DeepMind,AI,AI机器人,具身智能

长上下文大模型帮助机器人理解世界。

关键词: 英伟达,大模型,GPT-4,RULER,AI测试

无情戳穿“长上下文”大模型的虚标现象

关键词: GPT-4o,Mistral,AI,Codestral,代码生成模型

就在刚刚，法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言，而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前，已经开放API与IDE插件供用户使用。

关键词: RNN,Transformer,模型训练,AI框架,AI

既能像 Transformer 一样并行训练，推理时内存需求又不随 token 数线性递增，长上下文又有新思路了？