字节Seed开源长线记忆多模态Agent，像人一样能听会看
字节Seed开源长线记忆多模态Agent，像人一样能听会看字节Seed发布全新多模态智能体框架——M3-Agent。 像人类一样能听会看、具备长期记忆，并且免费开源！？
来自主题: AI技术研报
5090 点击 2025-08-19 10:16
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
字节Seed发布全新多模态智能体框架——M3-Agent。 像人类一样能听会看、具备长期记忆，并且免费开源！？
我们提出了 PresentAgent，一个能够将长篇文档转化为带解说的演示视频、多模态智能体。现有方法大多局限于生成静态幻灯片或文本摘要，而我们的方案突破了这些限制，能够生成高度同步的视觉内容和语音解说，逼真模拟人类风格的演示。
现在的AI Agent在文档生成PPT或视频方面，要想像人一样，把文字、图片、讲解、音视频全都串起来讲清楚，还真不太行。
第一作者孙秋实是香港大学计算与数据科学学院博士生，硕士毕业于新加坡国立大学数据科学系。
在家庭服务机器人领域，如何让机器人理解开放环境中的自然语言指令、动态规划行动路径并精准执行操作，一直是学界和工业界的核心挑战。
在大型推理模型（例如 OpenAI-o3）中，一个关键的发展趋势是让模型具备原生的智能体能力。具体来说，就是让模型能够调用外部工具（如网页浏览器）进行搜索，或编写/执行代码以操控图像，从而实现「图像中的思考」。
在谷歌I/O大会后，创始人谢尔盖·布林惊喜现身，与Hassabis深入探讨AI的推理能力、规模与算法、测试时计算及多模态智能体的应用前景。布林强调AI时代是计算科学家不应退休的黄金期，AI影响将远超互联网与手机。
面向复杂PC任务的多模态智能体框架PC-Agent，来自阿里通义实验室。
有了 TEN（Transformative Extensions Network，变革性扩展网络），开发者们终于不用再「绞尽脑汁」了！TEN 是全球首个真正实现实时多模态智能体的框架，不仅能减少开发痛点，还让你轻松从头开始构建下一代 AI 应用。
扩展多模态大语言模型（MLLMs）的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化，包括模型架构、数据构建和训练策略，尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。