
对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大
对话AI科学家刘威:“Ilya预训练终结论”对中国大模型公司影响不大过去一段时间,“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进,预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law(规模定律)最忠实的倡导者,却宣称预训练要终结了、scaling law要失效。由此,引发了大量争议。
过去一段时间,“预训练终结”成为了 AI 领域最热烈的讨论之一。OpenAI的GPT系列模型此前大踏步的前进,预训练是核心推动力。而前 OpenAI 首席科学家 Ilya Sutskever、预训练和scaling law(规模定律)最忠实的倡导者,却宣称预训练要终结了、scaling law要失效。由此,引发了大量争议。
公司的核心目标就是打造一个集多模态技术、高效推理、可信赖与情感交互于一体的“AI导师”。
本月,OpenAI科学家就当前LLM的scaling方法论能否实现AGI话题展开深入辩论,认为将来AI至少与人类平分秋色;LLM scaling目前的问题可以通过后训练、强化学习、合成数据、智能体协作等方法得到解决;按现在的趋势估计,明年LLM就能赢得IMO金牌。
一个全新的模型能力衡量指标诞生了?!
大模型版生命游戏来了。
大语言模型能否解决传统大语言模型在大规模数值数据分析中的局限性问题,助力科学界大科学装置设计、高能物理领域科学计算?
天啦撸!!AI想出来的idea,还真有人写成论文了。甚至预印本arXiv、博客、代码全都有了。今年8月,Sakana AI(由Transformer论文8位作者的最后一位Llion Jones创业成立)这家公司推出了史上首位“AI科学家”,且一登场就一口气生成了十篇完整学术论文。
2024年,诺贝尔奖将人工智能(AI)推上了科学界的中心舞台,AI领域的科学家连续斩获诺贝尔物理学奖与化学奖,这一令人意想不到的结果震撼了学术界。
2024 年 12 月 6 号加州时间上午 11 点,OpenAI 发布了新的 Reinforcement Finetuning 方法,用于构造专家模型。对于特定领域的决策问题,比如医疗诊断、罕见病诊断等等,只需要上传几十到几千条训练案例,就可以通过微调来找到最有的决策。
BioMap 百图生科宣布,全球人工智能领域的顶尖专家、西湖大学人工智能讲席教授——李子青教授出任百图生科首席科学家(AI大模型)。