打破纪录！谷歌全网扒1000亿图像文本对，ViT大佬坐镇：数据Scaling潜力依旧
打破纪录！谷歌全网扒1000亿图像文本对，ViT大佬坐镇：数据Scaling潜力依旧史上最大规模视觉语言数据集：1000亿图像-文本对！
来自主题: AI技术研报
6367 点击 2025-02-14 12:10
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
史上最大规模视觉语言数据集：1000亿图像-文本对！
人类通过课堂学习知识，并在实践中不断应用与创新。那么，多模态大模型（LMMs）能通过观看视频实现「课堂学习」吗？新加坡南洋理工大学S-Lab团队推出了Video-MMMU——全球首个评测视频知识获取能力的数据集，为AI迈向更高效的知识获取与应用开辟了新路径。
就在刚刚，AIME 2025 I数学竞赛的大模型参赛结果出炉，o3-mini取得78%的最好成绩，DeepSeek R1拿到了65%，取得第四名。然而一位教授却发现，某些1.5B小模型竟也能拿到50%，莫非真的存在数据集污染？
知识蒸馏通过训练一个紧凑的学生模型来模仿教师模型的 Logits 或 Feature Map，提高学生模型的准确性。迁移学习则通常通过预训练和微调，将预训练阶段在大规模数据集上学到的知识通过骨干网络共享应用于下游任务。
Uni-AdaFocus 是一个通用的高效视频理解框架，实现了降低时间、空间、样本三维度冗余性的统一建模。代码和预训练模型已开源，还有在自定义数据集上使用的完善教程，请访问项目链接。
最新综述论文探讨了知识蒸馏在持续学习中的应用，重点研究如何通过模仿旧模型的输出来减缓灾难性遗忘问题。通过在多个数据集上的实验，验证了知识蒸馏在巩固记忆方面的有效性，并指出结合数据回放和使用separated softmax损失函数可进一步提升其效果。
Falcon 方法是一种增强半自回归投机解码框架，旨在增强 draft model 的并行性和输出质量，以有效提升大模型的推理速度。Falcon 可以实现约 2.91-3.51 倍的加速比，在多种数据集上获得了很好的结果，并已应用到翼支付多个实际业务中。
微调大模型的数据隐私可能泄露？ 最近华科和清华的研究团队联合提出了一种成员推理攻击方法，能够有效地利用大模型强大的生成能力，通过自校正机制来检测给定文本是否属于大模型的微调数据集。
时间序列数据，作为连续时间点的数据集合，广泛存在于医疗、金融、气象、交通、能源（电力、光伏等）等多个领域。有效的时间序列预测模型能够帮助我们理解数据的动态变化，预测未来趋势，从而做出更加精准的决策。
百万真机数据集开源项目AgiBot World，也是全球首个基于全域真实场景、全能硬件平台、全程质量把控的大规模机器人数据集。 该项目由稚晖君具身智能创业项目智元机器人，携手上海AI Lab、国家地方共建人形机器人创新中心以及上海库帕思联合发布。