2024年，百万上下文依然没有杀死RAG
2024年，百万上下文依然没有杀死RAG每一次，当基础模型能力变强，总会有人预言：RAG（检索增强生成）或许要过时了。
来自主题: AI资讯
5965 点击 2024-12-23 13:52
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
每一次，当基础模型能力变强，总会有人预言：RAG（检索增强生成）或许要过时了。
OpenAI的实时API支持低延迟、双向音频流，使得多模态AI应用（如语音对话Agent）得以实现。它通过WebSocket连接管理对话状态，并提供短语结束检测和语音活动检测（VAD）功能，大大简化了实时语音应用的开发。
微软研究院最新研究揭示：一种悄然兴起的AI交互模式，正在改变我们与AI对话的方式。这项突破性研究不仅让AI更懂你，还能帮你更好地表达你的需求。
大模型如今已具有越来越长的上下文，而与之相伴的是推理成本的上升。英伟达最新提出的Star Attention，能够在不损失精度的同时，显著减少推理计算量，从而助力边缘计算。
在人工智能领域，与AI进行无缝的实时交互一直是开发者和研究者面临的一大挑战。特别是将文本、图片、音频等多模态信息整合成一个连贯的对话系统，更是难上加难。尽管像GPT-4这样的语言模型在对话流畅性和上下文理解上取得了长足进步，但在实际应用中，这些模型仍然存在不足之处：
RNN模型在长上下文中表现不佳？近日，来自清华的研究团队对此进行了深入的实验分析，结果表明：不是RNN的锅。
不管是编写和调试代码，还是通过函数调用来使用外部工具，又或是控制机器人，都免不了需要 LLM 生成结构化数据，也就是遵循某个特定格式（如 JSON、SQL 等）的数据。 但使用上下文无关语法（CFG）来进行约束解码的方法并不高效。针对这个困难，陈天奇团队提出了一种新的解决方案：XGrammar。
各位大佬，激动人心的时刻到啦！Anthropic 开源了一个革命性的新协议——MCP（模型上下文协议），有望彻底解决 LLM 应用连接数据难的痛点！它的目标是让前沿模型生成更好、更相关的响应。以后再也不用为每个数据源写定制的集成代码了，MCP 一个协议全搞定！
国产大模型，最近有点卷。
全球首个支持多主体一致性的多模态模型，刚刚诞生！Vidu 1.5一上线，全网网友都震惊了：LLM独有的上下文学习优势，视觉模型居然也有了。