TL;DR：DuoAttention 通过将大语言模型的注意力头分为检索头（Retrieval Heads，需要完整 KV 缓存）和流式头（Streaming Heads，只需固定量 KV 缓存），大幅提升了长上下文推理的效率，显著减少内存消耗、同时提高解码（Decoding）和预填充（Pre-filling）速度，同时在长短上下文任务中保持了准确率。
没错，就是CPU——Central Processing Unit，中央处理器。
近日，许久不见动作的QQ测试“QQ智能体”功能。 与一般的智能体不同，这次QQ测试的智能体是在AI社交领域的一次探索，产品类似基于QQ搭建了一个MiniMax的Talkie版本。
Mistral 7B诞生一周年之际，法国AI初创公司Mistral再次连发两个轻量级模型Ministral 3B和Ministral 8B，性能赶超Llama 3 8B。
开发由人工智能驱动的物理机器人竞赛再次开始，尽管该行业有着失败的记录——以及 OpenAI 在对话式人工智能方面的主导地位可能成为更大竞争对手的威胁。
Maitrix.org 是由 UC San Diego, John Hopkins University, CMU， MBZUAI 等学术机构学者组成的开源组织，致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。
QQ的演变，是AI社交的未来吗？ 近日，许久不见动作的QQ测试“QQ智能体”功能。
AI的发展，未来会不会干掉在线旅游的OTA模式？ 就着这一话题，美国科技创投公司Altimeter Capital的合伙人Thomas Reiner特地撰文，深入分析OpenAI的ChatGPT旅游预订，在库存、数据、服务、可视化、隐私、延迟、价格、代理、监管等维度上的优势和劣势。 他设想了OTA与AI未来发展的3个可能性，其中不乏趣味与洞察。
近日，来自乔治梅森大学和腾讯AI实验室的研究团队在这一领域取得了重大突破。他们提出了一种名为DOTS（Dynamic Optimal Trajectory Search）的创新方法，通过最佳推理轨迹搜索，显著提升LLMs的动态推理能力。
华尔街日报独家消息，微软正与OpenAI进行140亿美元的投资股权谈判。
