基于 Transformer架构的大型语言模型在各种基准测试中展现出优异性能，但数百亿、千亿乃至万亿量级的参数规模会带来高昂的服务成本。例如GPT-3有1750亿参数，采用FP16存储，模型大小约为350GB，而即使是英伟达最新的B200 GPU 内存也只有192GB ，更不用说其他GPU和边缘设备。
一周前，苹果在WWDC上发布了自己的AI功能Apple Intelligence，包括直接集成OpenAI的ChatGPT，自那以来，股价上涨逾7%，重夺全球市值第一宝座。
大语言模型提示中，竟有不少「怪癖」：重复某些内容，准确性就大大提高；人名变匿名，准确性就大大下降。最近，马里兰OpenAI等机构的30多位研究者，首次对LLM的提示技术进行了大规模系统研究，并发布75页详尽报告。
GPT-4o掀起一股全模态（Omni-modal）热潮，去年的热词多模态仿佛已经不够看了。
刚刚，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonnet、Llama3 70B、Qwen 2，甚至可以和GPT-4掰手腕！
股价一天大涨7%的苹果，终将干掉其他互联网巨头？
如果考试题太简单，学渣也能拿一百昏。在 AI 圈，我们应该拿怎样的「试卷」来检验一直处于流量 C 位的大模型的真实水平？是高考题吗？当然不是！
微软发布公告，Copilot GPTs将于7月10日起停服，用户已经创建的GPTs将被清空。微软给出的官方解释是公司战略调整——正在将GPT的重点转向商业和企业场景，背后原因可能是缺乏商业回报。Copilot GPTs关闭引发了用户不满，批评者质疑此举会切断创新并削减消费者对于产品的信任。
在刚刚结束的全球开发者大会上，苹果宣布了 Apple intelligence， 这是一款深度集成于 iOS 18、iPadOS 18 和 macOS Sequoia 的全新个性化智能系统。
苹果一出手，在手机等移动设备上部署大模型不可避免地成为行业关注焦点。
