混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合
混合专家更有主见了，能感知多模态分情况行事，Meta提出模态感知型专家混合混合专家，也得术业有专攻。
来自主题: AI资讯
5436 点击 2024-08-10 18:09
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
混合专家，也得术业有专攻。
多模态大语言模型 (Multimodal Large Language Moodel, MLLM) 以其强大的语言理解能力和生成能力，在各个领域取得了巨大成功。
假如你目前正在使用和研究类似CAMEL的多智能体系统，现在已经有了扮演研究者的Agent和负责写论文的Agent，再添加一个事实核查Agent会改善结果吗？
国产大模型，多模态能力都开始超越GPT-4-Turbo了？？
LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。
打造终身学习智能体，是研究界以来一直追求的目标。最近，帝国理工联手谷歌DeepMind打造了创新联合框架扩散增强智能体（DAAG），利用LLM+VLM+DM三大模型，让AI完成迁移学习、高效探索。
【新智元导读】面壁小钢炮MiniCPM-V 2.6重磅出击，再次刷新端侧多模态天花板！凭借8B参数，已经取得单图、多图、视频理解三项SOTA ，性能全面对标GPT-4V。
李飞飞老师提出了空间智能 (Spatial Intelligence) 这一概念，作为回应，来自上交、斯坦福、智源、北大、牛津、东大的研究者提出了空间大模型 SpatialBot，并提出了训练数据 SpatialQA 和测试榜单 SpatialBench， 尝试让多模态大模型在通用场景和具身场景下理解深度、理解空间。
Llama 3.1刚发布不久，Llama 4已完全投入训练中。 这几天，小扎在二季度财报会上称，Meta将用Llama 3的十倍计算量，训练下一代多模态Llama 4，预计在2025年发布。
图文并茂的PDF长文档在日常生活中无处不在。过去人们通常使用OCR，layout detection等方法对PDF长文档进行解析。但随着多模态大模型的发展，PDF长文档的端到端阅读理解成为了可能。