
MIT斯坦福Transformer最新研究:过度训练让中度模型「涌现」结构泛化能力
MIT斯坦福Transformer最新研究:过度训练让中度模型「涌现」结构泛化能力过度训练让中度模型出现了结构泛化能力。
来自主题: AI资讯
6102 点击 2023-12-08 14:37
过度训练让中度模型出现了结构泛化能力。
针对Transformer,谷歌DeepMind一项新的发现引起了不小争议: 它的泛化能力,无法扩展到训练数据以外的内容。
研究创造了一个神经网络,该人工智能(AI)系统在将新学到的单词添加到现有的词汇表中并在新的上下文中使用它们的能力,超越了ChatGPT,表现与人类相当,而这一能力正是人类认知能力的关键——系统泛化。