全解读｜智谱 GLM-5V-Turbo 发布，多模态 Coding 基模

MODEL

今天，智谱发布 GLM-5V-Turbo，定位「面向视觉编程的多模态 Coding 基座模型」

一句话概括：在 GLM-5-Turbo 的编程和龙虾能力基座上，加入了原生的视觉理解和推理能力

模型能看懂设计稿、截图、网页界面，据此生成完整可运行的代码

GLM-5V-Turbo Playground：左边是手绘草图，右边是生成的完整前端页面

从 GLM-5 到 GLM-5V-Turbo

先理一下产品线关系

2 月 11 日，智谱发布 GLM-5，744B 参数的开源旗舰，主打编程和 Agentic Engineering。3 月 16 日，GLM-5-Turbo 跟进，专门针对龙虾（OpenClaw/AutoClaw）场景做了优化，强化工具调用、指令遵循、长链路执行

今天的 GLM-5V-Turbo 是这条线的第三步：在 GLM-5-Turbo 的全部能力基础上，从预训练阶段就融入了视觉能力

具体多了什么：

→ 原生理解图片、视频、设计稿、文档版面等多模态输入

→ 支持画框、截图、读网页等多模态工具调用

→ 上下文窗口 200K

→ 与 Claude Code、OpenClaw/AutoClaw 深度适配

关键词是「原生」。这里的视觉能力是从预训练阶段就开始训的，后训练阶段再做多模态协同优化，和在文本模型上面接一个视觉编码器的做法不一样

Benchmark

先看多模态相关的指标。对比对象是 Kimi K2.5 和 Claude Opus 4.6

多模态 Benchmark：Multimodal Coding / Tool Use / GUI Agent

在 Design2Code、ImageMining、BrowseComp-VL、MMSearch、AndroidWorld 这几项上，GLM-5V-Turbo 均为三者最高。Opus 4.6 在 Flame-VLM-Code（98.8）和 Vision2Web（43.5）上领先

再看纯文本 Coding 和龙虾任务的指标。这张表多了一列 GLM-5-Turbo（纯文本版），可以看视觉能力引入后纯文本能力有没有退化

纯文本 Coding 和 Claw Benchmark

CC-Backend：GLM-5V-Turbo 22.8 vs GLM-5-Turbo 20.5，视觉版反而略高

CC-Frontend：68.4 vs 69.4，基本持平

CC-Repo-Exploration：72.2 vs 68.9，视觉版略高

官方的结论是：视觉能力引入后，纯文本编程与推理能力保持了同等水准。从数据看，个别项还有小幅提升。Opus 4.6 在纯文本 Coding 三项上均领先（CC-Backend 26.9，CC-Frontend 75.9，CC-Repo-Exploration 74.4），在 PinchBench 和 ClawEval 上也占优，这个差距客观存在

内测合作伙伴反馈

内测阶段，字节 TRAE 模型测评团队、美团和快手万擎模型测评团队分别给出了评价：

GLM-5V-Turbo 实现了从设计稿到代码的完整还原，作为一款视觉理解模型，能够很好地满足开发者的前端开发场景

TRAE 模型测评团队

原生多模态能力的引入并未削弱其编程逻辑，其编程能力仍属于国内第一梯队

美团

它为 Agent 安上了「眼睛」，同时在编程领域展现出优于同类多模态模型的能力，在视觉编程场景中更具竞争力

快手万擎模型测评团队

四项技术升级

GLM-5V-Turbo 的能力来自模型架构、训练方法、数据构造、工具链四个层面的系统性改动

原生多模态融合

GLM-5V-Turbo 从预训练阶段开始做文本与视觉的深度融合。智谱研发了新一代 CogViT 视觉编码器，官方称在通用物体识别、细粒度理解、几何与空间感知上均达最优。同时设计了兼容多模态输入的 MTP（Multi-Token Prediction） 结构，在多模态场景下保持较高的推理效率

30+ 任务协同强化学习

强化学习阶段同时优化 30 多 个任务类型，覆盖 STEM、grounding、video、GUI Agent 等子领域。官方称这种多任务协同的方式有效缓解了单领域训练的不稳定性，模型在感知、推理、Agentic 执行上均有提升

Agentic 数据与任务构造

Agent 数据一直是行业痛点：数据稀缺，验证困难。智谱的做法是构建从元素感知到序列级动作预测的多层级体系，用合成环境大规模生成可控、可验证的训练数据

一个有意思的细节：他们从预训练阶段就注入 Agentic 元能力，比如把 GUI Agent PRM 数据加入预训练来降低幻觉

多模态工具链扩展

在文本工具之外，GLM-5V-Turbo 新增支持多模态搜索、画框、截图、读网页等多模态 tools。这让 Agent 的感知链路从纯文本扩展到视觉交互，可以「看懂环境 → 规划动作 → 执行任务」形成完整闭环

典型场景

下面用实际案例展开，信息量比较大

图像即代码

GLM-5V-Turbo 最核心的能力场景。你可以发送草图、设计稿、参考网站的截图或录屏，模型直接理解布局、配色、组件层级与交互逻辑，生成完整可运行的前端工程

前端复刻：发截图或录屏，模型还原版式、配色、动效等视觉细节，生成可运行代码

GUI 自主探索复刻：结合 Claude Code，模型自主探索目标网站，浏览页面结构、梳理跳转关系、采集素材，然后直接生成代码复现整个站点

交互式编辑：支持按需求增删页面模块、修改文案样式、调整布局、补充交互功能

文档解读与写作

给模型一份 PDF 文档，它读完之后可以按照你的要求撰写特定格式的文章

NVIDIA 10-Q 财报 → 中文财务简报

比如把 NVIDIA 2026 财年第一季度 10-Q 表格扔给 AutoClaw，提示词是「阅读文档，汇总关键数据，撰写一份简报，保存到 result.md」，模型输出了包含营收、利润、毛利率、EPS 等关键数据和业务板块分析的中文财务简报

另一个案例是给一篇 40 页的 GLM-5 论文 PDF，让模型按微信公众号风格撰写宣传文案。模型自动从原文中定位和截取关键图表，嵌入到合适的位置，输出图文并茂的文章

论文 PDF → 公众号风格图文文案

PDF-to-WEB / PDF-to-PPT

这两个能力做成了官方 Skill。PDF-to-WEB 是把论文或报告转成精美的单页学术网站。用 BERT 论文和 GLM-5 论文做的实测，渲染结果的完成度很高，接近手工做的学术项目主页

PDF-to-WEB 渲染结果

PDF-to-PPT 则是把文档转成多页 HTML 演示文稿。比如用阿里巴巴的近期动态做了一个 14 页的分析 PPT，模型自主搜索了季度财报、业务板块数据和竞争格局，配了图表

多模态 Deep Research

这里展示两个深度调研的案例

第一个是「搜集小米汽车相关图片，输出图文交错的专题报告」。模型通过约 50 轮网络搜索，从各个渠道获取了包括新一代 SU7、YU7/YU7 GT、YU9 等车型的图片和产线、工厂照片，输出了一份结构化分析报告

小米汽车 Deep Research 报告

第二个是「结合阿里巴巴的近期动态和季度财报，仿照麦肯锡风格，生成专业 PPT」。模型同样自主完成了信息搜集、数据整理和可视化呈现

阿里巴巴麦肯锡风格 PPT

视觉 Grounding

模型能在图片中精准定位目标物体。几个有意思的例子：

数手指：给一张手部 X 光片，让模型用坐标标出所有手指的位置。模型准确识别并标注了 6 个手指（包括左右两侧拇指和中间 4 个手指）

多模态搜索 + 识别：给了一张 1927 年第五届索尔维会议的合影照片，提示词是「框出图中全部人物以及他们的名字」。模型成功识别并框出了全部 29 位人物，从第三排的奥古斯特·皮卡尔德到第一排的爱因斯坦

索尔维会议 29 人全部识别并框出

空间推理

模型在空间理解上的能力可以和具身机器人结合。一个实测案例是一张厨房场景照片，提示词是「我想切火腿肠，请问我的手应该操作哪个位置？请在图中点出对应的位置」。模型标注出了菜刀刀柄的位置，并给出了操作指导

空间推理 - 标注菜刀刀柄位置

为龙虾装上眼睛

接入 GLM-5V-Turbo 之后，龙虾（AutoClaw/OpenClaw）的任务边界大幅拓宽。以前只能处理纯文本任务，现在可以浏览网页和文档、生成图文并茂的报告和 PPT、查询并解读 K 线图

官方已上线「股票分析师」Skill，利用视觉能力让龙虾直接看懂 K 线走势、估值区间图和券商研报图表，四路数据源 60 秒并行采集，输出图文交错的研报

14 个官方 Skills

智谱为 GLM-5V-Turbo 准备了 14 个官方 Skills，分三类

基于主模型原生能力（4 个）

→PDF-to-WEB：论文/报告转单页学术网站

→PDF-to-PPT：文档转多页 HTML 演示文稿

→Web-Replication：给 URL，模型自主探索并复刻整个网站

→PRD-to-App：产品需求文档 + 原型图转全栈 Web 应用

作为外部工具调用（5 个）

→图像 Captioning：自动分析图像内容，生成自然语言描述

→视觉 Grounding：根据文字描述在图像中精准定位目标

→基于文档的写作：读文档、提关键信息、生成特定格式文本

→简历筛选：读简历，和职位要求智能比对

→提示词生成：根据参考图/视频，自动构建文生图/视频的 Prompt

基于专用模型 GLM-OCR / GLM-Image（5 个）

→通用文字识别：印刷体、手写体、多语言文本

→表格识别：还原行列结构和合并单元格

→手写体识别：适应连笔、潦草等复杂书写

→公式识别：复杂公式转 LaTeX

→文生图：自然语言生成图像

全部 Skills 已上线 ClawHub：一键安装

GitHub：zai-org/GLM-skills

接入方式

产品体验

→ AutoClaw（澳龙）：autoglm.zhipuai.cn/autoclaw

→ Z.ai：chat.z.ai

z.ai

API 接入

→ BigModel 开放平台：docs.bigmodel.cn

→ Z.ai：docs.z.ai

https://docs.bigmodel.cn/cn/guide/models/vlm/glm-5v-turbo

Claude Code

在 ~/.claude/settings.json 中配置：

→ANTHROPIC_BASE_URL 设为 https://open.bigmodel.cn/api/anthropic

→ 模型 ID 填 glm-5v-turbo

或在会话中直接 /model glm-5v-turbo 切换

AutoClaw / OpenClaw 接入

设置里添加自定义模型：

→ 服务商选「智谱」

→ 模型 ID 填 glm-5v-turbo

→ Base URL 填 https://open.bigmodel.cn/api/paas/v4

→ 填入 API Key 即可

Coding Plan：现面向 Coding Plan 用户开放申请，后续 GLM Coding Plan 也会纳入 GLM-5V-Turbo

申请问卷：zhipu-ai.feishu.cn/share/base/form/shrcn...

GLM-5，2 月 11 日

GLM-5-Turbo，3 月 16 日

GLM-5V-Turbo，4 月 2 日

大约每两到三周一个版本。这次补上的是视觉能力，龙虾和 Claude Code 的感知链路从纯文本扩展到了视觉交互

文章来自于"赛博禅心"，作者 "金色传说大聪明"。