如何将 LLM 的上下文扩展至百万级？
如何将 LLM 的上下文扩展至百万级？在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。
来自主题: AI技术研报
4712 点击 2024-07-19 10:14
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
在2023年初，即便是当时最先进的GPT-3.5，其上下文长度也仅限于2k。然而，时至今日，1M的上下文长度已经成为衡量模型技术先进性的重要标志之一。
大模型价格战，这匹国产黑马又破纪录了！最低的GLM-4 Flash版本，百万token价格已经低至0.1元，可以说是击穿地心。MaaS 2.0大升级，让企业训练私有模型的成本无限降低。
最新版本大模型，6 分钱 100 万 Token。
龙争虎斗的大模型竞技场，今天突然更新：国内大模型公司零一万物旗下的Yi-Large千亿参数闭源大模型，跃升总榜第七，也成为榜上国产大模型第一。可以看到，它的成绩几乎与GPT-4-0125-preview持平。同时，国内清华系大模型公司智谱华章的GLM-4-0116也杀进总榜，位居第15位。
登录就送500w tokens！1块钱 100w tokens！一降再降！！仅需0.0008元/千tokens！
昨天刚刚在顶会ICLR作为特邀演讲（Invited Talk）中“国内唯一”的大模型玩家智谱AI，今天又放出了一个好消息
在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。
在机器学习社区中，ICLR （国际学习表征会议）是较为「年轻」的学术会议，它由深度学习巨头、图灵奖获得者 Yoshua Bengio 和 Yann LeCun 在 2013 年牵头举办。但 ICLR 很快就获得了研究者的广泛认可，并且在 AI 圈拥有了深度学习会议「无冕之王」的称号。
机器学习三大顶会之一的ICLR 2024，正在维也纳如火如荼地举行。
在2023年的「百模大战」中，众多实践者推出了各类模型，这些模型有的是原创的，有的是针对开源模型进行微调的；有些是通用的，有些则是行业特定的。如何能合理地评价这些模型的能力，成为关键问题