AI资讯新闻榜单内容搜索-多模态

关键词: MM-Interleaved,多模态模型,特征同步器,模型训练

过去几个月中，随着 GPT-4V、DALL-E 3、Gemini 等重磅工作的相继推出，「AGI 的下一步」—— 多模态生成大模型迅速成为全球学者瞩目的焦点。

关键词: MiniCPM,Mistral-7B,Llama2-13B,token,小模型

2B性能小钢炮来了！刚刚，面壁智能重磅开源了旗舰级端侧多模态模型MiniCPM，2B就能赶超Mistral-7B，还能越级比肩Llama2-13B。成本更是低到炸裂，170万tokens成本仅为1元！

关键词: CVCL,对比学习模型,AI学习模型,多模态模型

有助于构建下一代多模态人工智能系统、开发能以更像人类的方式学习语言的人工智能系统。

关键词: 多模态模型,LLM,SOTA

多模态大型语言模型进展如何？盘点 26 个当前最佳多模态大型语言模型。

关键词: 多模态大模型,MoE-LLaVA,LLaVA-1.5-7B

对于大型视觉语言模型（LVLM）而言，扩展模型可以有效提高模型性能。然而，扩大参数规模会显著增加训练和推理成本，因为计算中每个 token 都会激活所有模型参数。

关键词: 多模态模型,MLLM,GPT-4V,Gemini

马里兰大学联合北卡教堂山发布首个专为多模态大语言模型（MLLM）设计的图像序列的基准测试Mementos，涵盖了真实世界图像序列、机器人图像序列，以及动漫图像序列，用4761个多样化图像序列的集合，全面测试MLLM对碎散图像序列的推理能力！

关键词: LaVIT,ICLR 2024,DALLE-3,多模态模型

动态视觉分词统一图文表示，快手与北大合作提出基座模型 LaVIT 刷榜多模态理解与生成任务。

关键词: LMM,多模态大模型,M-A-P 开源社区

近期，随着多模态大模型（LMM） 的能力不断进步，评估 LMM 性能的需求也日益增长。与此同时，在中文环境下评估 LMM 的高级知识和推理能力的重要性更加突出。

关键词: WebVoyager,多模态,LLMs,LLM

借助强大多模态模型，开创全新的网络智能体 Hongliang He1,3∗, Wenlin Yao2, Kaixin Ma2, Wenhao Yu2, Yong Dai2, Hongming Zhang2, Zhenzhong Lan3, Dong Yu2 1 浙江大学，2 腾讯 AI 实验室，3 西湖大学

关键词: 多模态大模型,Vary-toy,LVLM,视觉定位,图像描述

一款名为Vary-toy的“年轻人的第一个多模态大模型”来了！模型大小不到2B，消费级显卡可训练，GTX1080ti 8G的老显卡轻松运行。