在生成式模型的迅速发展中，Image Tokenization 扮演着一个很重要的角色，例如Diffusion依赖的VAE或者是Transformer依赖的VQGAN。这些Tokenizers会将图像编码至一个更为紧凑的隐空间（latent space），使得生成高分辨率图像更有效率。
当前主流的视觉语言模型（VLM）主要基于大语言模型（LLM）进一步微调。因此需要通过各种方式将图像映射到 LLM 的嵌入空间，然后使用自回归方式根据图像 token 预测答案。
大模型价格战，这匹国产黑马又破纪录了！最低的GLM-4 Flash版本，百万token价格已经低至0.1元，可以说是击穿地心。MaaS 2.0大升级，让企业训练私有模型的成本无限降低。
最新版本大模型，6 分钱 100 万 Token。
研究人员提出了一种新的大型语言模型训练方法，通过一次性预测多个未来tokens来提高样本效率和模型性能，在代码和自然语言生成任务上均表现出显著优势，且不会增加训练时间，推理速度还能提升至三倍。
在以英语为主的语料库上训练的多语言LLM，是否使用英语作为内部语言？对此，来自EPFL的研究人员针对Llama 2家族进行了一系列实验。
最近的一系列研究表明，纯解码器生成模型可以通过训练利用下一个 token 预测生成有用的表征，从而成功地生成多种模态（如音频、图像或状态 - 动作序列）的新序列，从文本、蛋白质、音频到图像，甚至是状态序列。
即使最强大的 LLM 也难以通过 token 索引来关注句子等概念，现在有办法了。
每个token只需要5.28%的算力，精度就能全面对标Llama 3。
当火山引擎要在阿里的腹地与其贴脸开打，还有一场场硬仗等待着他。
