OpenAI的实时API支持低延迟、双向音频流，使得多模态AI应用（如语音对话Agent）得以实现。它通过WebSocket连接管理对话状态，并提供短语结束检测和语音活动检测（VAD）功能，大大简化了实时语音应用的开发。
在探索迈向AGI（通用人工智能）物理世界的路径中，通用机器人被视作关键载体。
Apple MM1Team 再发新作，这次是苹果视频生成大模型，关于模型架构、训练和数据的全面报告，87 亿参数、支持多模态条件、VBench 超 PIKA，KLING，GEN-3。
昨天深夜，OpenAI彻底被谷歌狙击，震撼亮相的Gemini 2.0掀起智能体革命，原生多模态的多项惊人demo预示着：智能体时代，谷歌已经走在了最前面。
随着ChatGPT等大语言模型的问世，人工智能进入了一个全新的时代。在这股浪潮中，多模态AI技术成为业界竞相追逐的目标，OpenAI的Sora更是将这股热情推向高潮。
谷歌放大招推出 Gemini 2.0 Flash 模型，抢跑外加狙击OpenAI，正式开启Agent时代，诚意十足，全部免费使用
继量子芯片之后，谷歌又来抢“OpenAI双12直播”的流量了！ 就在刚刚，谷歌新一代大模型Gemini 2.0突然登场，再次由谷歌CEO皮猜亲自官宣。
多模态大模型在听觉上，居然也出现了「9.11>9.8」的现象，音量大小这种简单问题都识别不了！港中文、斯坦福等大学联合发布的AV-Odyssey基准测试，包含26个视听任务，覆盖了7种声音属性，跨越了10个不同领域，确保测试的深度和广度。
Cell Reports Medicine近期的研究结合CT和病理图像，提出一种可解释的人工智能框架用于预测胃癌患者新辅助化疗的疗效。
以 GPT4V 为代表的多模态大模型（LMMs）在大语言模型（LLMs）上增加如同视觉的多感官技能，以实现更强的通用智能。虽然 LMMs 让人类更加接近创造智慧，但迄今为止，我们并不能理解自然与人工的多模态智能是如何产生的。
