
Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现
Ilya错了?Scaling另有他用,ViT大佬力挺谷歌1000亿数据新发现谷歌发布了1000亿文本-图像对数据集,是此前类似数据集的10倍,创下新纪录!基于新数据集,发现预训练Scaling Law,虽然对模型性能提升不明显,但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋!
来自主题: AI技术研报
5971 点击 2025-03-10 09:52
谷歌发布了1000亿文本-图像对数据集,是此前类似数据集的10倍,创下新纪录!基于新数据集,发现预训练Scaling Law,虽然对模型性能提升不明显,但对于小语种等其他指标提升明显。让ViT大佬翟晓华直呼新发现让人兴奋!
爆炸消息—— ViT三大核心作者集体离职谷歌DeepMind。下一站:OpenAI! 他们分别是翟晓华(Xiaohua Zhai)、卢卡斯·拜尔(Lucas Beyer)、亚历山大·科列斯尼科夫(Alexander Kolesnikov)。