小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%
小红书&上交多模态大模型新基准，Gemini 1.5 Pro准确率仅48%多模态大模型理解真实世界的水平到底如何？
来自主题: AI技术研报
5006 点击 2025-02-13 09:49
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
多模态大模型理解真实世界的水平到底如何？
推理大语言模型（LLM），如 OpenAI 的 o1 系列、Google 的 Gemini、DeepSeek 和 Qwen-QwQ 等，通过模拟人类推理过程，在多个专业领域已超越人类专家，并通过延长推理时间提高准确性。推理模型的核心技术包括强化学习（Reinforcement Learning）和推理规模（Inference scaling）。
DeepSeek火的一塌糊涂，其访问量暴涨614%，已成全球第二大爆火应用。马斯克剧透，xAI将发布比R1更好的模型。
就在今天，OpenAI紧跟着谷歌Gemini 2.0的发布，把ChatGPT Search给全面开放了。不需要注册登录，用法和传统搜索引擎一样。
本周三，该公司全面发布 Gemini 2.0 Flash、 Gemini 2.0 Flash-Lite 以及新一代旗舰大模型 Gemini 2.0 Pro 实验版本，并且还在 Gemini App 中推出了其推理模型 Gemini 2.0 Flash Thinking。
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。
就在本周，Kimi 的新模型打开了强化学习 Scaling 新范式，DeepSeek R1 用开源的方式「接班了 OpenAI」，谷歌则把 Gemini 2.0 Flash Thinking 的上下文长度延伸到了 1M。1 月 24 日上午，百川智能重磅发布了国内首个全场景深度思考模型，把这一轮军备竞赛推向了高潮。
就在国内各家大模型厂商趁年底疯狂卷的时候，太平洋的另一端也没闲着。 就在今天，谷歌发布了 Gemini 2.0 Flash Thinking 推理模型的加强版，并再次登顶 Chatbot Arena 排行榜。
模型蒸馏也有「度」，过度蒸馏，只会导致模型性能下降。最近，来自中科院、北大等多家机构提出全新框架，从两个关键要素去评估和量化蒸馏模型的影响。结果发现，除了豆包、Claude、Gemini之外，大部分开/闭源LLM蒸馏程度过高。
初创公司DeepWriter宣布：世界第一部完全由AI写作的10万字商业竞争书籍诞生了！全程没有人类参与工作，不到4小时，即可完成约10万单词的商业书籍创作。