AI资讯新闻榜单内容搜索-Transforme

关键词: Mamba,Transformer,AI框架,AI算法

几天前，ICLR 2024 的最终接收结果出来了。

关键词: sora,VDT,视频扩散模型,Video Diffusion Transformer

2 月 16 日，OpenAI Sora 的发布无疑标志着视频生成领域的一次重大突破。Sora 基于 Diffusion Transformer 架构，和市面上大部分主流方法（由 2D Stable Diffusion 扩展）并不相同。

关键词: Transformer,Searchformer,LLM,模型训练

最近几年，基于 Transformer 的架构在多种任务上都表现卓越，吸引了世界的瞩目。使用这类架构搭配大量数据，得到的大型语言模型（LLM）等模型可以很好地泛化用于真实世界用例。

关键词: 蒋路,Sora,AI视频模型,Transformer

谷歌Research Lead，负责VideoPoet项目的蒋路，即将加入TikTok，负责视频生成AI的开发。

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。

关键词: sora,世界模型,世界模拟器,AI视频

威尔·史密斯的这段视频，把全网都骗了！其实Sora的技术路线，早已被人预言了。李飞飞去年就用Transformer做出了逼真的视频。但只有OpenAI大力出奇迹，跑在了所有人前面。

关键词: Gemini 1.5,token, transformers,GPT-4V

我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。

关键词: RNN模型,Transformer,Mistral-7B,Eagle 7B

大模型内卷时代，也不断有人跳出来挑战Transformer的统治地位，RWKV最新发布的Eagle 7B模型登顶了多语言基准测试，同时成本降低了数十倍

关键词: Sora,AI视频,Transformer,Diffusion

Sora表现强大的3点关键原因，以及我们作为普通人，应该如何面对新技术带来的冲击？

关键词: Transformer,深度学习,LLM,RNN

状态空间模型正在兴起，注意力是否已到尽头？