AI资讯新闻榜单内容搜索-泛化能力

关键词: Sora,AI 视频,视觉训练,AGI,openai

本文总结了关于Sora的四点启发，包括视觉数据训练出更强的泛化能力、OpenAI的Scaling Law路线、与AGI的第一次亲密接触以及OpenAI的宣传策略。

关键词: Sora,AI视频,openai,AGI

简单粗暴的理解，就是语言能力足够强大之后，它带来的泛化能力直接可以学习图像视频数据和它体现出的模式，然后还可以直接用学习来的图像生成模型最能理解的方式，给这些利用了引擎等已有的强大而成熟的视频生成技术的视觉模型模块下指令，最终生成我们看到的逼真而强大的对物理世界体现出“理解”的视频。

关键词: AI独角兽,AI企业,AI投资,AI商业化

以大模型为代表的生成式AI技术经历了一年多的狂飙突进后，进入一个新的阶段。一是从跳出百模大战的「速度怪圈」，逐步迈向强调模型效果和质量。二是在应用层生态上，强调垂直化与专有化的小模型、基于大模型泛化能力的定制化、智能化的Agent（智能体）也成为了创业者们投身的热门风向。

关键词: WaveCoder,LLM,泛化能力

指令调优或许是让大模型性能提升最有潜力的方法。用高质量数据集进行指令调优，能让大模型性能快速提升。

关键词: MoE,多模态,多模态大模型

多模态大模型做“多任务指令微调”，大模型可能会“学得多错得多”，因为不同任务之间的冲突，导致泛化能力下降。

关键词: Transformer,涌现,顿悟Grokking

过度训练让中度模型出现了结构泛化能力。

关键词: 谷歌大模型,Transformer,DeepMind,泛化能力

针对Transformer，谷歌DeepMind一项新的发现引起了不小争议： 它的泛化能力，无法扩展到训练数据以外的内容。