一种基于扩散模型的单视图三维建模方法及系统

本申请公开了一种基于扩散模型的单视图三维建模方法及系统。本方法首先获取单张图像作为输入；将接收的图像输入到多视图扩散模型中，然后将生成的多视图图像输入到ViT编码器中，通过ViT编码器将每个视图图像转换为图像令牌；将图像令牌输入到三平面解码器中生成三平面表示；最后使用FlexiCubes对三平面表示进行等值面提取将三平面表示转换为网格表示；3D网格渲染：对生成的网格表示进行渲染，生成3D模型视图。本申请通过多视图扩散模型和稀疏视图大规模重建模型的协同工作，实现了从单张图像快速三维建模，具有生成速度快、模型质量高、几何细节丰富等优点。