让视觉语言模型搞空间推理，谷歌又整新活了
让视觉语言模型搞空间推理，谷歌又整新活了视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。
来自主题: AI技术研报
8010 点击 2024-02-18 15:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。
对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。
一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。
多模态大模型将是AI下一个爆点。最近，通义千问VLM模型换新升级，超大杯性能堪比GPT-4V。最最重要的是，还能限时免费用。
还在苦苦寻找开源的机器人大模型？试试RoboFlamingo！
近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。
训完130亿参数通用视觉语言大模型，只需3天！北大和中山大学团队又出招了——在最新研究中，研究团队提出了一种构建统一的图片和视频表征的框架。利用这种框架，可以大大减少VLM（视觉语言大模型）在训练和推理过程中的开销。
在新模型发布后，智谱 AI CEO 张鹏和极客公园聊了聊他们的近况和一些行业认知。谈到与ChatGLM2相比，智谱 AI 此次瞄准 GPT-4V 推出的 ChatGLM 3 性能更加强大，接入了具有多模态理解能力的模型 CogVLM、代码增强模块 Code Interpreter、网络搜索增强模型 WebGLM，并增强了语义理解和逻辑理解能力，实现了若干功能的迭代升级。
基于LVLM幻觉频发的三个成因（物体共现、物体不确定性、物体位置），北卡教堂山、斯坦福、哥大、罗格斯等大学的研究人员提出幻觉修正器LURE，通过修改描述来降低幻觉问题。
在快速发展的人工智能领域，自然语言处理已成为研究人员和开发人员关注的焦点。近年来，在Transformer 架构和BERT 双向升级的基础上，出现了几种突破性的语言模型，突破了机器理解和生成的界限。