该论文作者来自复旦大学、中电金信及上海智能视觉计算协同创新中心团队，论文已被多媒体领域顶级国际会议 ACM MultiMedia 2024 接收，并将在该大会上进行口头报告（Oral 接收率仅 3.97%）。
罗盟，本工作的第一作者。新加坡国立大学（NUS）人工智能专业准博士生，本科毕业于武汉大学。主要研究方向为多模态大语言模型和 Social AI、Human-eccentric AI。
让AI像人类一样借助多模态线索定位感兴趣的物体，有新招了！
新的最强开源多模态大模型来了！
在体验上越来越接近人与人的自然交流。
8月27日消息，在近日召开的Hot Chips 2024大会上，韩国AI芯片初创公司FuriosaAI 推出了一款面向高性能大型语言模型和多模态模型推理的高能效数据中心AI加速器 RNGD。
Cisco 曾在 2018 年做过测算，全球已经有超过 75% 的数据是视频内容，互联网视频数据流量超过 50%。
本文引入了 Transfusion，这是一种可以在离散和连续数据上训练多模态模型的方法。
就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了！完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。也就是说，真正的多模态AI模型，可能很快就要来了！
以 GPT 为代表的大型语言模型预示着数字认知空间中通用人工智能的曙光。这些模型通过处理和生成自然语言，展示了强大的理解和推理能力，已经在多个领域展现出广泛的应用前景。无论是在内容生成、自动化客服、生产力工具、AI 搜索、还是在教育和医疗等领域，大型语言模型都在不断推动技术的进步和应用的普及。
