AI资讯新闻榜单内容搜索-transforme

关键词: 蒋路,Sora,AI视频模型,Transformer

谷歌Research Lead，负责VideoPoet项目的蒋路，即将加入TikTok，负责视频生成AI的开发。

关键词: 推测解码,GPT-4,LLM,Transformer

推测解码（Speculative Decoding）是谷歌等机构在 2022 年发现的大模型推理加速方法。它可以在不损失生成效果前提下，获得 3 倍以上的加速比。GPT-4 泄密报告也提到 OpenAI 线上模型推理使用了它。

关键词: sora,世界模型,世界模拟器,AI视频

威尔·史密斯的这段视频，把全网都骗了！其实Sora的技术路线，早已被人预言了。李飞飞去年就用Transformer做出了逼真的视频。但只有OpenAI大力出奇迹，跑在了所有人前面。

关键词: Gemini 1.5,token, transformers,GPT-4V

我们接连被谷歌的多模态模型 Gemini 1.5 以及 OpenAI 的视频生成模型 Sora 所震撼到，前者可以处理的上下文窗口达百万级别，而后者生成的视频能够理解运动中的物理世界，被很多人称为「世界模型」。

关键词: RNN模型,Transformer,Mistral-7B,Eagle 7B

大模型内卷时代，也不断有人跳出来挑战Transformer的统治地位，RWKV最新发布的Eagle 7B模型登顶了多语言基准测试，同时成本降低了数十倍

关键词: Sora,AI视频,Transformer,Diffusion

Sora表现强大的3点关键原因，以及我们作为普通人，应该如何面对新技术带来的冲击？

关键词: Transformer,深度学习,LLM,RNN

状态空间模型正在兴起，注意力是否已到尽头？

关键词: MAGNeT,AI音频,音频生成新模型,Meta AI,文本生成音乐

在文本生成音频（或音乐）这个 AIGC 赛道，Meta 最近又有了新研究成果，而且开源了。前几日，在论文《Masked Audio Generation using a Single Non-Autoregressive Transformer》中，Meta FAIR 团队、Kyutai 和希伯来大学推出了 MAGNeT，一种在掩码生成序列建模方法。

关键词: RECURRENTGPT,Transformer,长文本生成

Transformer的固定尺寸上下文使得GPT模型无法生成任意长的文本。在本文中，我们介绍了RECURRENTGPT，一个基于语言的模拟RNN中的递归机制。

关键词: LLM,Transformer,AI学术,AI科研

在软件工程顶会ESEC/FSE上，来自马萨诸塞大学、谷歌和伊利诺伊大学厄巴纳-香槟分校（UIUC）的研究人员发表了新的成果，使用LLM解决自动化定理证明问题。