从2019年到现在，是时候重新审视Tokenization了
从2019年到现在，是时候重新审视Tokenization了2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
来自主题: AI技术研报
11375 点击 2025-01-04 14:20
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。
预训练语言模型通常在其参数中编码大量信息，并且随着规模的增加，它们可以更准确地回忆和使用这些信息。
电影《钢铁侠》中，托尼·斯塔克的助手贾维斯（J.A.R.V.I.S.）能帮他控制各种系统并自动完成任务，曾让无数观众羡慕不已。
马斯克被啪啪“打脸”，自家大模型Grok的draw me新生图功能抽疯，画人总是画不对。
自回归文生图，迎来新王者——
在今年的 NeurIPS 2024 大会上，硅谷最著名的 VC 之一 Conviction Capital 创始人 Sarah Guo 和合伙人 Pranav Reddy 做了一场 “AI 创业公司的现状（The State of AI Startups）”的分享。
在刚刚过去的 12 月，Google 的首席执行官 Sundar Pichai 在一场内部战略会上表示，「这将会是 2025 年的主题。」
Anthropic 的崛起是2024年全球 AI 产业最受瞩目的现象之一，它是 OpenAI 强有力的挑战者，令很多厌倦了 OpenAI 式虚张声势和夸大其词的 AI 研究者和开发者耳目一新。
斯坦福大学最新AI进展！开源STORM&Co-STORM系统，只需填写主题，就可以全面整合资源，避开信息盲点生成高质量长文。
海豚的口哨声、大象的隆隆声、鸟鸣声的颤音，都具有该物种用于传递信息的模式和结构。对于人类来说，这些微妙之处可能难以识别和理解，但寻找模式正是AI所擅长的领域。