大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好
大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好面对当前微调大模型主要依赖人类生成数据的普遍做法，谷歌 DeepMind 探索出了一种减少这种依赖的更高效方法。
来自主题: AI资讯
9850 点击 2023-12-26 15:02
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
面对当前微调大模型主要依赖人类生成数据的普遍做法，谷歌 DeepMind 探索出了一种减少这种依赖的更高效方法。
激发大模型解决复杂问题的重要技术之一CoT，如今要被颠覆了？谷歌DeepMind斯坦福UC伯克利共同提出了「代码链」（CoC），让LLM在代码中学会了思考。
刚刚，谷歌DeepMind首席科学家Jeff Dean，首席执行官Demis Hassabis两大佬联手发布了2023人工智能领域超权威的谷歌年度研究总结。
AI可以从自己生成的「合成数据」中学习，最重要的是，能够大幅提升数据问题解决和代码生成的能力。
OpenAI的出现，源自马斯克和拉里佩奇的一场争论。那是在2015年，特斯拉刚刚盈利，佩奇还是谷歌的CEO。就是这场争吵的几周后，OpenAI在一次晚饭上诞生。
困扰数学家多年、让陶哲轩直呼喜欢的上限集问题数学难题，竟然被DeepMind的新算法破解了？这是史上首个用LLM发现的算法，堪称里程碑级研究，一经发布立马登Nature。
DeepMind的研究团队开发了一款基于大型语言模型的人工智能系统，名为FunSearch，可以在数学和计算机科学中生成新的解。通过迭代中的进化，FunSearch能够解决复杂的数学问题，并发现新的数学知识和算法。这种基于大型语言模型的人工智能系统不仅能超越人类数学家，而且比现有的方法更有效。
用大模型解决困扰数学家60多年的问题，谷歌DeepMind最新成果再登Nature。
本文讲述了一场拍卖会在AI领域引起的巨头间的人才争夺战，以及这场拍卖对科技巨头在人工智能领域的影响。一家在会议前紧急成立的公司以4400万美元的高价被拍卖，吸引了谷歌、微软、DeepMind和百度等巨头参与竞拍
喂给大模型语料——最初是维基百科和Reddit，后来扩展到音频、视觉图像甚至雷达和热图像——后者广义上说是换了种表达方式的语言。也因此有生成式AI的创业者认为，一个极度聪明的大语言模型就是那个通往AGI最终答案，多模态的研究道路只是目前对前者的底气不足。