大模型商用格局雏形初现：Tokens用量决高下，火山引擎问鼎2024
大模型商用格局雏形初现：Tokens用量决高下，火山引擎问鼎2024大模型应用落地元年，谁家业务更值得关注？
来自主题: AI资讯
3284 点击 2025-01-22 11:06
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
大模型应用落地元年，谁家业务更值得关注？
如果2023年给大模型的关键词是席卷，那么在2024，这个关键词应该是渗透。最常用的软件、手机PC本身、甚至厨卫/电源开源，都在被AI重塑。主观感受中，这一年，AI更加强大，以前所未有的速度嵌入各行各业。
很多大模型的官方参数都声称自己可以输出长达32K tokens的内容，但这数字实际上是存在水分的？？
开源模型上下文窗口卷到超长，达400万token！ 刚刚，“大模型六小强”之一MiniMax开源最新模型—— MiniMax-01系列，包含两个模型：基础语言模型MiniMax-Text-01、视觉多模态模型MiniMax-VL-01。
随着语言大模型的成功，视觉 - 语言多模态大模型 (Vision-Language Multimodal Models, 简写为 VLMs) 发展迅速，但在长上下文场景下表现却不尽如人意，这一问题严重制约了多模态模型在实际应用中的潜力。
大模型长序列的处理能力已越来越重要，像复杂长文本任务、多帧视频理解任务、以及 OpenAI 近期发布的 o1、o3 系列模型的高计算量模式，需要处理的输入 + 输出总 token 数从几万量级上升到了几百万量级。
发表于昨天的论文《Agent Laboratory: Using LLM Agents as Research Assistants》对于科研界具有划时代意义，过去几周才能完成的科研任务现在仅需20分钟到一两个小时左右（不同LLM），花费2-13个美金的Token即可完成！
最近，我们团队的一位工程师在研究类 ColPali 模型时，受到启发，用新近发布的 jina-clip-v2 模型做了个颇具洞察力的可视化实验。
Meta提出大概念模型，抛弃token，采用更高级别的「概念」在句子嵌入空间上建模，彻底摆脱语言和模态对模型的制约。
2019 年问世的 GPT-2，其 tokenizer 使用了 BPE 算法，这种算法至今仍很常见，但这种方式是最优的吗？来自 HuggingFace 的一篇文章给出了解释。