AI资讯新闻榜单内容搜索-长上下文

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
搜索: 长上下文
首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

首个Mamba+Transformer混合架构多模态大模型来了,实现单卡千图推理

扩展多模态大语言模型(MLLMs)的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化,包括模型架构、数据构建和训练策略,尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。

来自主题: AI技术研报
7495 点击    2024-09-21 18:19
Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba 1.5发布,最长上下文,非Transformer架构首次成功领先

Jamba是第一个基于 Mamba 架构的生产级模型。Mamba 是由卡内基梅隆大学和普林斯顿大学的研究人员提出的新架构,被视为 Transformer 架构的有力挑战者。

来自主题: AI资讯
7967 点击    2024-08-24 10:07
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频

现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。

来自主题: AI技术研报
9484 点击    2024-08-21 14:20
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙

当今的LLM已经号称能够支持百万级别的上下文长度,这对于模型的能力来说,意义重大。但近日的两项独立研究表明,它们可能只是在吹牛,LLM实际上并不能理解这么长的内容。

来自主题: AI资讯
5017 点击    2024-07-23 16:10
速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

速度秒杀GPT-4o!Mistral开源首个22B代码模型破记录,支持80+编程语言

就在刚刚,法国AI初创公司Mistral发布了自家首款代码生成模型Codestral。不仅支持32K长上下文窗口以及80多种编程语言,而且还用22B的参数量取得了与70B的Llama 3相近的性能。目前,已经开放API与IDE插件供用户使用。

来自主题: AI技术研报
9703 点击    2024-05-30 15:16
极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

极长序列、极快速度:面向新一代高效大语言模型的LASP序列并行

从国际顶流 GPT-4 128K、Claude 200K 到国内「当红炸子鸡」支持 200 万字上下文的 Kimi Chat,大语言模型(LLM)在长上下文技术上不约而同地卷起来了

来自主题: AI技术研报
5547 点击    2024-04-16 18:08
谷歌:假如AI大模型支持无限长上下文,会如何?

谷歌:假如AI大模型支持无限长上下文,会如何?

谷歌:假如AI大模型支持无限长上下文,会如何?

为解决大模型(LLMs)在处理超长输入序列时遇到的内存限制问题,本文作者提出了一种新型架构:Infini-Transformer,它可以在有限内存条件下,让基于Transformer的大语言模型(LLMs)高效处理无限长的输入序列。实验结果表明:Infini-Transformer在长上下文语言建模任务上超越了基线模型,内存最高可节约114倍。

来自主题: AI资讯
8406 点击    2024-04-14 11:32