当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
GPT-4o再次掀起多模态大模型的浪潮。
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。
视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。
在开源社区中把GPT-4+Dall·E 3能⼒整合起来的模型该有多强？
刷爆多模态任务榜单，超强视觉语言模型Mini-Gemini来了！ 效果堪称是开源社区版的GPT-4+DALL-E 3王炸组合。
谷歌在语言和声控计算机界面的漫长道路上又迈出了重要一步。最新ScreenAI视觉语言模型，能够完成各种屏幕QA问答、总结摘要等任务。
视觉语言模型虽然强大，但缺乏空间推理能力，最近 Google 的新论文说它的 SpatialVLM 可以做，看看他们是怎么做的。
对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。
在快速发展的人工智能领域，自然语言处理已成为研究人员和开发人员关注的焦点。近年来，在Transformer 架构和BERT 双向升级的基础上，出现了几种突破性的语言模型，突破了机器理解和生成的界限。
