2024 年 5 月，DreamTech 官宣了其高质量 3D 生成大模型 Direct3D，并公开了相关学术论文 Direct3D: Scalable Image-to-3D Generation via 3D Latent Diffusion Transformer。
这几天，最新发布的Stable Diffusion 3和Luma AI的视频生成模型Dream Machine相继发布，但这两个模型却用非常独特的方式震撼到了网友们。Dream Machine加上二创脑洞成为快乐源泉，SD3输出的诡异图片却散发着浓浓的「黑色幽默」。
发布不到2天，那个号称“下一代”文生视频的Dream Machine（来自Luma AI），大大大大翻车。
120秒120帧高质量逼真视频，视频生成赛道新模型入场，火到服务器被挤爆！ 网友直呼这是Sora级别的视频生成AI，关键是可以免费试用。
继Pika宣布上新2.0版本后，视频生成领域又有新模型加入。成立于2021年的Luma AI今天刚刚官宣了文生视频/图生视频模型Dream Machine，而且提供免费使用API，高质量的生成效果获得了很多网友的好评。
基于人工智能的数字内容生成，即 AIGC 在二维图像生成领域取得了很大的成功，但在三维生成方面仍存在挑战。智能化生成三维模型在 AR/VR、工业设计、建筑设计和游戏影视等方面都有应用价值，现有的智能化三维生成方法已经可以生成高质量的三维模型，但如何对生成结果进行精确控制，并对真实模型或生成的模型进行细节的修改，从而让用户自由定制高质量的三维模型仍然是一个待解决的问题。
Sora刚发布后没多久，火眼金睛的网友们就发现了不少bug，比如模型对物理世界知之甚少，小狗在走路的时候，两条前腿就出现了交错问题，让人非常出戏。 对于生成视频的真实感来说，物体的交互非常重要，但目前来说，合成真实3D物体在交互中的动态行为仍然非常困难。
最近，字节旗下的一款视频生成AI——Dreamina 开始大规模开放测试。 Dreamina 不算是新产品，但现在它与 Sora 最大的区别，不是模型能力，而是它真的是能使用的。
近期，DiT（Diffusion Transformer）论文的作者谢赛宁在朋友圈分享了他对 Sora 的看法，其中核心资源的排序是——人才第一、数据第二、算力第三，其他都没有什么是不可替代的。
主题驱动的文本到图像生成，通常需要在多张包含该主题（如人物、风格）的数据集上进行训练，这类方法中的代表工作包括 DreamBooth、Textual Inversion、LoRAs 等，但这类方案因为需要更新整个网络或较长时间的定制化训练，往往无法很有效地兼容社区已有的模型，并无法在真实场景中快速且低成本应用。
