
CVPR 2024 | 分割一切模型SAM泛化能力差?域适应策略给解决了
CVPR 2024 | 分割一切模型SAM泛化能力差?域适应策略给解决了第一个针对「Segment Anything」大模型的域适应策略来了!相关论文已被CVPR 2024 接收。
第一个针对「Segment Anything」大模型的域适应策略来了!相关论文已被CVPR 2024 接收。
近年来,LLM 已经一统所有文本任务,展现了基础模型的强大潜力。一些视觉基础模型如 CLIP 在多模态理解任务上同样展现出了强大的泛化能力,其统一的视觉语言空间带动了一系列多模态理解、生成、开放词表等任务的发展。然而针对更细粒度的目标级别的感知任务,目前依然缺乏一个强大的基础模型。
深度学习模型因其能够从大量数据中学习潜在关系的能力而「彻底改变了科学研究领域」。然而,纯粹依赖数据驱动的模型逐渐暴露出其局限性,如过度依赖数据、泛化能力受限以及与物理现实的一致性问题。
港大发布通用图基座模型OpenGraph,巧妙从LLM中蒸馏零样本图泛化能力。
本文总结了关于Sora的四点启发,包括视觉数据训练出更强的泛化能力、OpenAI的Scaling Law路线、与AGI的第一次亲密接触以及OpenAI的宣传策略。
简单粗暴的理解,就是语言能力足够强大之后,它带来的泛化能力直接可以学习图像视频数据和它体现出的模式,然后还可以直接用学习来的图像生成模型最能理解的方式,给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令,最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。
以大模型为代表的生成式AI技术经历了一年多的狂飙突进后,进入一个新的阶段。一是从跳出百模大战的「速度怪圈」,逐步迈向强调模型效果和质量。二是在应用层生态上,强调垂直化与专有化的小模型、基于大模型泛化能力的定制化、智能化的Agent(智能体)也成为了创业者们投身的热门风向。
指令调优或许是让大模型性能提升最有潜力的方法。用高质量数据集进行指令调优,能让大模型性能快速提升。
多模态大模型做“多任务指令微调”,大模型可能会“学得多错得多”,因为不同任务之间的冲突,导致泛化能力下降。
过度训练让中度模型出现了结构泛化能力。