多模态AI是一种将不同形式的数据(如文本、图像、音频等)融合在一起的技术，旨在让模型从多个维度感知和理解信息。这种融合使得AI系统能够从每种模态中获取独特的但互补的信息，从而构建出更全面的世界观。例如，在一个自动驾驶场景中，图像数据可以帮助系统识别道路上的行人，而雷达数据则能够感知车距，两者结合能够显著提升决策准确性。
随着对现有互联网数据的预训练逐渐成熟，研究的探索空间正由预训练转向后期训练（Post-training），OpenAI o1 的发布正彰显了这一点。
善智者，动于九天之上。
多模态大语言模型（MLLM）如今已是大势所趋。 过去的一年中，闭源阵营的GPT-4o、GPT-4V、Gemini-1.5和Claude-3.5等模型引领了时代。
基于虚幻引擎5，清华大学构建了一个真实、动态、开放的具身智能平台EmbodiedCity，用于评估和研究具身智能在复杂城市场景中的应用；该平台提供在线接入和离线运行两种使用方式，支持多模态场景理解、问答、对话、导航和任务规划等一系列具身智能任务。
如果您正在探寻人工智能未来的辉煌篇章，那么答案就在这里。 OpenAI的领导者Sam Altman和Greg Brockman最近表示：“现在正是我们展望未来的最佳时机。”他们预见了一个新时代，用户将不再只是与单一的模型对话，而是与由众多多模态模型和工具构成的系统互动，这些系统能够代表用户执行操作。
Molmo，开源多模态模型正在发力！
十一假期第1天， OpenAI一年一度的开发者大会又来了惹！今年的开发者大会分成三部分分别在美国、英国、新加坡三个地点举办，刚刚结束的是第一场。
EMOVA（EMotionally Omni-present Voice Assistant），一个能够同时处理图像、文本和语音模态，能看、能听、会说的多模态全能助手，并通过情感控制，拥有更加人性化的交流能力。
就在刚刚，MIT系初创公司Liquid AI团队官宣：推出首批多模态非Transformer模型——液体基础模型LFM。
