AI资讯新闻榜单内容搜索-模型训练

关键词: chatGPT,大模型训练,openai

对于ChatGPT变笨原因，学术界又有了一种新解释。加州大学圣克鲁兹分校一项研究指出：在训练数据截止之前的任务上，大模型表现明显更好。

关键词: Transformer,大模型,模型训练

一个来自MIT博士生的惊人发现：只需对Transformer的特定层进行一种非常简单的修剪，即可在缩小模型规模的同时显著提高模型性能。

关键词: 摩尔线程,KUAE智算中心,千卡千亿模型训练平台

国内首个以国产全功能GPU为底座的大规模算力集群，正式落地了！这便是来自摩尔线程的KUAE智算中心，全国产千卡千亿模型训练平台。

关键词: Gemini,文心一言,模型训练

在谷歌Vertex AI平台使用该模型进行中文对话时，Gemini-Pro直接表示自己是百度语言大模型。

关键词: 小模型训练,LLM训练,上下文训练

我们都知道，大语言模型（LLM）能够以一种无需模型微调的方式从少量示例中学习，这种方式被称为「上下文学习」（In-context Learning）。这种上下文学习现象目前只能在大模型上观察到。比如 GPT-4、Llama 等大模型在非常多的领域中都表现出了杰出的性能，但还是有很多场景受限于资源或者实时性要求较高，无法使用大模型。

关键词: OpenAI,山姆奥特曼

本文探讨了AI对齐在OpenAI公司中被忽视的一部分，以及AI对齐在大模型训练中的重要性和影响。文章揭示了OpenAI内部因AI对齐而产生的分歧，并阐述了AI对齐在保证AI按照人类意图和价值观运作方面的作用。同时，文章指出AI对齐在大模型训练中存在的性能阉割和对齐税等问题，以及AI对齐在大模型发展中的隐藏模型和重要性。

关键词: Scaling Law,模型训练,LLM训练

计划训练一个10B的模型，想知道至少需要多大的数据？收集到了1T的数据，想知道能训练一个多大的模型？老板准备1个月后开发布会，给的资源是100张A100，那应该用多少数据训一个多大模型最终效果最好？

关键词: H200,AI芯片,AI硬件

英伟达老黄，带着新一代GPU芯片H200再次炸场。官网毫不客气就直说了，“世界最强GPU，专为AI和超算打造”。

关键词: Weights&Biases,AI训练,模型微调,MLOps

有一家公司，OpenAI、Anthropic、Cohere、Aleph Alpha（欧洲顶尖大模型公司）和Hugging Face的模型训练和微调都离不开它，NVIDIA和谷歌云（GCP）都是它的深度合作伙伴，它是支持生成式AI明星公司们训练模型的幕后英雄。

关键词: 大语言模型,AI模型,模型训练

即便大语言模型的参数规模日渐增长，其模型中的参数到底是如何发挥作用的还是让人难以琢磨，直接对大模型进行分析又费钱费力。针对这种情况，微软的两位研究员想到了一个绝佳的切入点