没有指数级数据就没有Zero-shot！生成式AI或已到达顶峰
没有指数级数据就没有Zero-shot！生成式AI或已到达顶峰近日，又一惊人结论登上Hacker News热榜：没有指数级数据，就没有Zero-shot！多模态模型被扒实际上没有什么泛化能力，生成式AI的未来面临严峻挑战。
来自主题: AI技术研报
9973 点击 2024-05-21 15:27
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近日，又一惊人结论登上Hacker News热榜：没有指数级数据，就没有Zero-shot！多模态模型被扒实际上没有什么泛化能力，生成式AI的未来面临严峻挑战。
Llama 3发布一个月后，一位开发者在GitHub上创建了名为「从头开始实现Llama 3」的项目，引起了开源社区的广泛关注。代码非常详细地展现了Llama所使用的Transformer架构，甚至让Andrej Karpathy亲自下场「背书」。
2023年3月的一天，美国政府的科技政策顾问Arati Prabhakar带着一台笔记本电脑走进了白宫的椭圆形办公室，向80岁的总统拜登展示了如何使用ChatGPT。
大模型的风，吹进中小学了。
大数据巨头Databricks与哥伦比亚大学最新研究发现，在数学和编程任务上，LoRA干不过全量微调。
此次，苹果提出的多模态大语言模型（MLLM） Ferret-UI ，专门针对移动用户界面（UI）屏幕的理解进行了优化，其具备引用、定位和推理能力。
当计算预算低时，重复使用高质量数据更好；当不差钱时，使用大量数据更有利。
为了能让自己以后更好地摸鱼，我上周第一次和大模型协作，完成了对一份财报的分析。
随着AI带来的算力需求大爆发，以半导体为代表的各类硬件企业的营收也纷纷水涨船高。
最公平的大模型基准测试诞生了！来自LLM竞技场，最接近人类偏好，数据新鲜、速度快、成本低，严格分离学渣和学霸。
5月14日，开源的大语言模型Falcon 2发布，性能超越Llama 3，消息登上了Hacker News热榜第一。「猎鹰」归来，开源宇宙将会迎来新的霸主吗？
前几天，普林斯顿大学联合Meta在arXiv上发表了他们最新的研究成果——Lory模型，论文提出构建完全可微的MoE模型，是一种预训练自回归语言模型的新方法。
I/O大会上，谷歌Gemini 1.5 Pro一系列更新让开发者们再次沸腾。最新技术报告中，最引人注目的一点是，数学专业版1.5 Pro性能碾压GPT-4 Turbo、Claude 3 Opus，成为全球最强的数学模型。
预训练语言模型在分析核苷酸序列方面显示出了良好的前景，但使用单个预训练权重集在不同任务中表现出色的多功能模型仍然存在挑战。
Anthropic发布最新Claude宪法，兼具标准性和灵活性。语言模型如何决定它将涉及哪些问题，哪些问题它认为不合适涉及？为什么它会鼓励某些行为，而阻止另一些行为？语言模型有哪些「价值观」？
OpenAI半小时的发布会让很多人第一反应是直呼「失望」，但随着官网放出更多demo以及更多网友开始试用，大家才发现GPT-4o真的不可小觑，不仅在各种基准测试中稳拿第一，而且有很多发布会从未提及的惊艳功能。
GPT-4o发布不到一周，首个敢于挑战王者的新模型诞生！最近，Meta团队发布了「混合模态」Chameleon，可以在单一神经网络无缝处理文本和图像。10万亿token训练的34B参数模型性能接近GPT-4V，刷新SOTA。
谷歌表示，Gemini 1.5 相比 Claude 3.0 和 GPT-4 Turbo 实现了代际提升。
Llama 3开源后，聊天机器人Meta AI也宣布使用新模型作为基座，在Meta旗下的各种软件（Meta.ai、Instagram、Facebook、WhatsApp）中都可以进行免费体验。
曾经创造出Stable Diffusion系列模型的Stability AI，目前面临前所未有的财务危机。
如今出海浪潮基本上席卷了整个互联网，Product Hunt 已经成为众多海外产品发布的首选。公众号「深思圈」作者曾经写过一篇关于 Product Hunt 产品发布全攻略的文章，如今 Product Hunt 已经发生了很多变化
AI-Native 的应用 Day One 就应该收费。这几乎是开发者当下的共识。
以后数据分析的活，也被 ChatGPT 包了。
前有OpenAI的GPT-4o，后有谷歌的系列王炸，先进的多模态大模型接连炸场。
70B模型，秒出1000token，换算成字符接近4000！
最近一周KAN的热度逐渐褪去，正好静下心来仔细学习KAN的原理，收获颇多。
在大型语言模型的训练过程中，数据的处理方式至关重要。
最近一段时间，端侧生成式 AI 上游的「军备竞赛」异常激烈。
OpenAI总裁兼联合创始人Greg再次大秀GPT-4o操作，结果网友直接缅怀DALL-E图片。
大模型正以前所未有的速度重塑我们的工作和生活方式，人们期待大模型走向千行百业，为实际业务带来真正的价值提升。