AI资讯新闻榜单内容搜索-token

关键词: token,上下文,智谱AI,AGI,GLM-3 Turbo,GLM-4

在刚刚举行的 ICLR 2024 大会上，智谱AI的大模型技术团队公布了面向激动人心的AGI通用人工智能前景的三大技术趋势，同时预告了GLM的后续升级版本。

关键词: Medusa2,AI,模型训练,LLMs,顺序解码器

传统上，大型语言模型（LLMs）被认为是顺序解码器，逐个解码每个token。

关键词: token,MoE,大模型,GPT-4-Turbo,DeepSeek-V2,DeepSeek AI

开源大模型领域，又迎来一位强有力的竞争者。

关键词: HuggingFace,开源模型,FineWeb,数据集,模型训练

Meta最近开源的Llama 3模型再次证明了「数据」是提升性能的关键，但现状是，开源的大模型有一堆，可开源的大规模数据却没多少，而收集、清洗数据又是一项极其费时费力的工作，也导致了大模型预训练技术仍然掌握在少数高端机构的手中。

关键词: AI,AI数学,AI,token,Llama,AI科研

AI做数学题，真正的思考居然是暗中“心算”的？

关键词: token,Meta,Meta AI,模型训练

“预测下一个token”被认为是大模型的基本范式，一次预测多个tokens又会怎样？

关键词: AI芯片,Groq,GPU,Llama 3,算力

2024 年 4 月 20 日，即 Meta 开源 Llama 3 的隔天，初创公司 Groq 宣布其 LPU 推理引擎已部署 Llama 3 的 8B 和 70B 版本，每秒可输出token输提升至800。

关键词: LLM,微调,LongRoPE,模型训练,上下文

大型语言模型（LLM）往往会追求更长的「上下文窗口」，但由于微调成本高、长文本稀缺以及新token位置引入的灾难值（catastrophic values）等问题，目前模型的上下文窗口大多不超过128k个token

关键词: llama 3,开源大模型,大模型,AI,羊驼大模型

大模型力大砖飞，让LLaMA3演绎出了新高度： 超15T Token数据上的超大规模预训练，既实现了令人印象深刻的性能提升，也因远超Chinchilla推荐量再次引爆开源社区讨论。

关键词: Llama 3,Groq,openai,chatGPT,claude 3 Opus

Llama 3诞生之后便艳压群雄，开源界已无「模」能敌。