4090玩转大场景几何重建，RGB渲染和几何精度达SOTA｜上海AI Lab&西工大新研究
4090玩转大场景几何重建，RGB渲染和几何精度达SOTA｜上海AI Lab&西工大新研究仅用4090就能实现大规模城市场景重建！
来自主题: AI技术研报
5494 点击 2025-04-12 14:56
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
仅用4090就能实现大规模城市场景重建！
面向3D生成，来自VAST和清华大学的自动绑骨框架开源了！3D内容创作领域正经历前所未有的爆发，无论是成熟的传统工作流，还是以VAST（Tripo）为代表的AI驱动生成工具的飞速发展，都体现了市场对高质量3D资产需求的日益激增
在现实世界中，如何让智能体理解并挖掘 3D 场景中可交互的部位（Affordance）对于机器人操作与人机交互至关重要。所谓 3D Affordance Learning，就是希望模型能够根据视觉和语言线索，自动推理出物体可供哪些操作、以及可交互区域的空间位置，从而为机器人或人工智能系统提供对物体潜在操作方式的理解。
世界模型领域最新进展，要比拼“世界生成”了。
北京大学陈宝权教授团队提出RainyGS技术，通过结合物理模拟和3D高斯泼溅渲染框架，实现了真实场景中动态雨效的高质量仿真与呈现，真正实现「从真实到真实」，或者「以仿真乱真」，即Real2Sim2Real ！相比现有的视频编辑工具（如 Runway），其物理真实性获得保证。
随着 VR/AR、游戏娱乐、自动驾驶等领域对 3D 场景生成的需求不断攀升，从稀疏视角重建 3D 场景已成为一大热点课题。
本文主要描述了具身合成数据两条主要技术路线之争：“视频合成+3D重建”or “端到端3D生成”。参考自动驾驶的成功经验，前者模态转换链路过长导致误差累积，'直接合成3D数据'理论上有信息效率优势，但需要克服“常识欠缺”等挑战。
想象一下，一座生机勃勃的 3D 城市在你眼前瞬间成型 —— 没有漫长的计算，没有庞大的存储需求，只有极速的生成和惊人的细节。
4D LangSplat通过结合多模态大语言模型和动态三维高斯泼溅技术，成功构建了动态语义场，能够高效且精准地完成动态场景下的开放文本查询任务。该方法利用多模态大模型生成物体级的语言描述，并通过状态变化网络实现语义特征的平滑建模，显著提升了动态语义场的建模能力。
「来绘」是一个由AI驱动的、玩家可以DIY的3D美学社区，而它构建起的，实际上是一个「游戏+社交+电商」的一体化数字美学生态。