Llama都在用的RoPE有了视频版，复旦上海AI Lab等提出长视频理解/检索绝佳拍档
Llama都在用的RoPE有了视频版，复旦上海AI Lab等提出长视频理解/检索绝佳拍档Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
来自主题: AI技术研报
3797 点击 2025-02-20 10:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
Llama都在用的RoPE（旋转位置嵌入）被扩展到视频领域，长视频理解和检索更强了。
这次不是卷参数、卷算力，而是卷“跨界学习”——
近年来，大语言模型（LLMs）取得了突破性进展，展现了诸如上下文学习、指令遵循、推理和多轮对话等能力。目前，普遍的观点认为其成功依赖于自回归模型的「next token prediction」范式。
7B大小的视频理解模型中的新SOTA，来了！
2月11日，在阿联酋迪拜举办的World Governments Summit 2025峰会上，百度创始人李彦宏与阿联酋AI部长奥马尔·苏丹·奥拉马（Omar Sultan AI Olama）对谈时表示，尽管技术进步、成本降低，但仍需持续投入AI基础设施，以确保处于技术创新的最前沿。
2024年11月，艾伦人工智能研究所（Ai2）推出了Tülu 3 8B和70B，在性能上超越了同等参数的Llama 3.1 Instruct版本，并在长达82页的论文中公布其训练细节，训练数据、代码、测试基准一应俱全。
刚刚，大模型竞技场榜单上再添一款国产模型——来自阿里，Qwen2.5-Max，超越了DeepSeek-V3，以总分1332的成绩位列总榜第七。同时还一举超越Claude 3.5 Sonnet、Llama 3.1 405B等模型。
在这个对谈中，Lex Fridman 与半导体分析专家 Dylan Patel（SemiAnalysis 创始人）和人工智能研究科学家 Nathan Lambert（艾伦人工智能研究所）展开对话，深入探讨 DeepSeek AI 及其开源模型 V3 和 R1，以及由此引发的 AI 发展地缘政治竞争，特别是中美在 AI 芯片和技术出口管制领域的博弈。
Meta这次真的坐不住了，计划在AI上继续加码！匿名员工爆料，黑马DeepSeek的出现，让Llama 4还未发布就已经落后，Meta慌了。
「工程师正在疯狂地分析 DeepSeek，试图从中复制任何可能的东西。」DeepSeek 开源大模型的阳谋，切切实实震撼着美国 AI 公司。最先陷入恐慌的，似乎是同样推崇开源的 Meta。