60行代码，从头开始构建GPT！最全实践指南来了
60行代码，从头开始构建GPT！最全实践指南来了GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。
来自主题: AI技术研报
9081 点击 2024-03-01 17:44
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
GPT早已成为大模型时代的基础。国外一位开发者发布了一篇实践指南，仅用60行代码构建GPT。
最近，OpenAI 视频生成模型 Sora 的爆火，给基于 Transformer 的扩散模型重新带来了一波热度，比如 Sora 研发负责人之一 William Peebles 与纽约大学助理教授谢赛宁去年提出的 DiT（Diffusion Transformer）。
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。
许久未更新大模型的英伟达推出了150亿参数的Nemotron-4，目标是打造一个能在单个A100/H100可跑的通用大模型。
本文提出了扩散模型中UNet的long skip connection的scaling操作可以有助于模型稳定训练的分析，目前已被NeurIPS 2023录用。同时，该分析还可以解释扩散模型中常用但未知原理的1/√2 scaling操作能加速训练的现象。
有了阿里的 EMO，AI 生成或真实的图像「动起来说话或唱歌」变得更容易了。
今天凌晨，由微软、国科大等机构提交的一篇论文在 AI 圈里被人们争相转阅。该研究提出了一种 1-bit 大模型，实现效果让人只想说两个字：震惊。
LLaMa 3 正寻找安全与可用性的新平衡点。
根据 OpenAI 披露的技术报告，Sora 的核心技术点之一是将视觉数据转化为 patch 的统一表征形式，并通过 Transformer 和扩散模型结合，展现了卓越的扩展（scale）特性。
现在，大语言模型（LLM）迎来了“1-bit时代”。
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法：它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。
用过ChatGPT的人知道，新时代来临了。Sora的出现，将人工智能推向新高潮。
成立仅9个月，法国Mistral AI拿出仅次于GPT-4的大模型。
全新消费级显卡，专为提速笔记本大模型应用而生。
2月22日，英伟达发布2024财年四季报，营收221亿美元，同比增长265%，净利润123亿美元，同比激增769%，双双大超市场预期。
AI x 机器人正逐渐走上时代的风口，近日，谷歌DeepMind以及英伟达两家AI大厂都在机器人领域有所动作。
英伟达发布移动工作站产品线最后一块拼图，号称与竞品相比效率提升14倍。随着今年大量AI消费级硬件的上市，AI应用的门槛彻底被老黄打下来了。
世界模型是什么？Sora是世界模型吗？
城市通用智能该如何发展？如何解决概念定义模糊、缺乏系统文献述评和通用解决方案等难题？
随着大语言模型（LLMs）在近年来取得显著进展，它们的能力日益增强，进而引发了一个关键的问题：如何确保他们与人类价值观对齐，从而避免潜在的社会负面影响？
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
问世才两个星期，谷歌的世界模型也来了，能力看起来更强大：它生成的虚拟世界「自主可控」。
2023 年年底，很多人都预测，未来一年将是视频生成快速发展的一年。但出人意料的是，农历春节刚过，OpenAI 就扔出了一个重磅炸弹 —— 能生成 1 分钟流畅、逼真视频的 Sora。
无数人类天才穷尽一生才合伙建立残缺的大统一理论（GUT）：它只统一了强相互作用、弱相互作用和电磁力，引力至今无法统一到模型之中。
SemiAnalysis的行业专家对最近爆火的Groq推理系统进行了像素级的拆解，测算出其持有成本依然高达现有H100的10倍，看来要赶上老黄的步伐，初创公司还有很多要做。
谷歌DeepMind最新研究发现，问题中前提条件的呈现顺序，对于大模型的推理性能有着决定性的影响，打乱顺序能让模型表现下降30%。
近日，普林斯顿大学和普林斯顿等离子体物理实验室研究核聚变能的科学家表示，他们已经找到了一种使用人工智能的方法，预测这些潜在不稳定性并实时阻止其发生。
扩散模型，迎来了一项重大新应用——像Sora生成视频一样，给神经网络生成参数，直接打入了AI的底层！
谷歌团队推出「通用视觉编码器」VideoPrism，在3600万高质量视频字幕对和5.82亿个视频剪辑的数据集上完成了训练，性能刷新30项SOTA。
终有一天，LLM可以成为人类数据专家，针对不同领域进行数据分析，大大解放AI研究员。