是什么让纽约大学著名研究者谢赛宁三连呼喊「Representation matters」？他表示：「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言，表征也依然有用。基于此，他们提出了 REPA，即表征对齐技术，其能让「训练扩散 Transformer 变得比你想象的更简单。」
来自约翰斯·霍普金斯大学和腾讯AI实验室的研究人员推出了EzAudio，这是一种新的文本到音频（T2A）生成模型，承诺以前所未有的效率从文本提示中生成高质量的音效。这一进步标志着人工智能和音频技术的重大飞跃，解决了人工智能生成音频中的几个关键挑战。
视频生成模型大乱斗
自去年以来，文本到图像生成模型取得了巨大进展，模型的架构从传统的基于UNet逐渐转变为基于Transformer的模型。
面对以 Sora 为代表的各种「后辈」视频生成模型的冲击，Pika 迟迟没有大的版本更新。
要论最近最火的AI视频生成模型，无疑就属字节豆包了。
3D生成也能支持检索增强（RAG）了。
近期，来自字节跳动的视频生成模型 Loopy，一经发布就在 X 上引起了广泛的讨论。Loopy 可以仅仅通过一张图片和一段音频生成逼真的肖像视频，对声音中呼吸，叹气，挑眉等细节都能生成的非常自然，让网友直呼哈利波特的魔法也不过如此。
前几天 MiniMax 发布了海螺视频生成模型 abab-video-1，现场体验非常炸裂。很多朋友跑来问我，这个海螺视频模型和可灵的区别主要是什么？于是我做了一个短片，来从六个维度展现这两个视频模型的不同之处。一句话总结海螺视频就是：美学升级，运镜加分，表情丰富，文字突出。
两天前， 国内 AI 独角兽 MiniMax 重磅发布的视频生成模型video-01，因其能够生成超逼真的人类视频，特别是在手部动作的精准模拟方面表现卓越，迅速引起了业界的广泛关注。这款 AI 工具的问世标志着生成式 AI 领域的又一次重要突破。但它到底表现如何呢？
