当下，视频生成备受关注，有望成为处理物理知识的 “世界模型” （World Model），助力自动驾驶、机器人等下游任务。然而，当前模型在从 “生成” 迈向世界建模的过程中，存在关键短板 —— 对真实世界物理规律的刻画能力不足。
在过去的两年里，城市场景生成技术迎来了飞速发展，一个全新的概念 ——世界模型（World Model）也随之崛起。当前的世界模型大多依赖 Video Diffusion Models（视频扩散模型）强大的生成能力，在城市场景合成方面取得了令人瞩目的突破。然而，这些方法始终面临一个关键挑战：如何在视频生成过程中保持多视角一致性？
论文一作刘少腾，Adobe Research实习生，香港中文大学博士生（DV Lab），师从贾佳亚教授。主要研究方向是多模态大模型和生成模型，包含图像视频的生成、理解与编辑。作者Tianyu Wang、Soo Ye Kim等均为Adobe Research Scientist。
在 LLM 落地场景中，医疗领域的应用开始展现出比较高的确定性，尤其是 AI scribe 产品能解决临床文档记录枯燥、耗时这一行业痛点。Abridge 是其中最有代表性的公司，训练了专用于临床文档的 ASR 和文本生成模型，能够替代 90% 左右的人工工作量。
说到2024年AI圈的热门话题，当然不能错过视频生成模型了！ 即使是在12月，国内外视频模型的更新脚步依旧没有放缓。其中以Sora、可灵AI为代表。
平面设计是一门艺术学科，它们致力于创造一些吸引注意力和有效传达信息的视觉内容。为了减轻人类设计师的负担，各种各样的海报生成模型相继被提出。它们只关注某些子任务，远未实现设计构图任务；它们在生成过程中不考虑图形设计的层次信息。为了解决这些问题，作者将分层设计原理引入多模态模型（LMM），并提出LaDeCo算法。
视频生成模型卷得热火朝天，配套的视频评价标准自然也不能落后。 现在，北京大学MMCAL团队开发了首个用于视频编辑质量评估的新指标——VE-Bench，相关代码与预训练权重均已开源。
随着Sora震撼发布，视频生成技术成为了AI领域新风口。不过，高昂的开发成本是一大瓶颈。国产平台Video Ocean不仅成功登上全球热榜第三，还将视频生成模型开发成本降低50%。而且，模型构建和性能优化方案现已开源，还能免费获得500元GPU算力。
2024年最后一个月，国产大模型落地应用突然加速。尤其视频生成模型，就像密集射出子弹后的枪管，热得发烫。
近年来，随着 Stable Diffusion 等文本到图像生成模型的发展，这些技术使得在保留内容准确性的同时，实现出色的风格转换成为可能。这项技术在数字绘画、广告和游戏设计等领域具有重要的应用价值。
