ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练
ICLR 2024 | 鸡生蛋蛋生鸡？再论生成数据能否帮助模型训练随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
来自主题: AI技术研报
10643 点击 2024-04-01 15:53
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
随着生成模型（如 ChatGPT、扩散模型）飞速发展，一方面，生成数据质量越来越高，到了以假乱真的程度；另一方面，随着模型越来越大，也使得人类世界的真实数据即将枯竭。
搞 AI 大模型，实在太烧钱了。我们知道，如今的生成式 AI 有很大一部分是资本游戏，科技巨头利用自身强大的算力和数据占据领先位置，并正在使用先进 GPU 的并行算力将其推广落地。这么做的代价是什么？最近《华尔街日报》一篇有关明星创业公司的报道里给出了答案：投入是产出的 17 倍。
【新智元导读】在英伟达统治AI时代硬件的当下，谷歌的TPU却开辟了另一条道路。今天，小编带你了解第一块TPU的前世今生，同时揭开TPU架构的神秘面纱。
最近一份美国市场研究机构发布的报告火了。报告详细分析了OpenAI部署Sora所需的硬件资源，计算得出，在峰值时期Sora需要高达72万张英伟达H100 来支持，对应成本是1561亿人民币。
【新智元导读】过去25年，半导体工艺制程不断逼近极限，才有了ChatGPT的诞生。如今世界最强英伟达GPU已有超2080亿个晶体管。台积电大佬预测，未来十年，1万亿晶体管GPU将问世。
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
Transformer作者中唯一去了OpenAI的那位，公开承认了：他参与了Q*项目，是这项新技术的发明者之一。这几天除了英伟达老黄组局把Transformer作者聚齐，他们中的几位还接受了连线杂志的采访，期间出了这么一个小插曲。
今年的AI妖股，都知道英伟达，却少有人知道它——股价一年飙升900%、一脚踏进标普500，直接把英伟达都给秒了……
智能NPC，已经承担起推动游戏主线的任务了！育碧的一个DEMO中，两名个性鲜明的智能NPC带着玩家，在游戏世界中畅游了十五分钟。
今年GTC大会上，英伟达推出了地表最强Blackwell计算平台、NIM推理微服务、Omniverse Cloud API等惊喜新品。其中Blackwell GPU具有2080亿个晶体管，AI算力直接暴涨30倍。单芯片训练性能（FP8）是Hopper架构的2.5 倍，推理性能（FP4）是Hopper架构的5倍。具有第5代NVLink互连，并且可扩展至576个GPU。