| 模型 | 文生图Image | 文生视频Video | 代码编程Code | 长文本理解Long | 逻辑推理Logic | 中文语义Chinese | 多模态识图Vision | 数学公式Math | 角色扮演Role | 指令遵循Follow | 输出稳定性Stable | 智能体执行Agent |
|---|
注:模型能力会随厂商版本更新发生变动,以下评分仅代表当前公开可观测的相对表现,非官方基准。
以下为本站整理的典型对照案例,具体数值随厂商活动与版本调整而变化,仅用于说明「同一模型在不同产品里消耗不同」这一现象。
| 底层模型 | 产品 A | 产品 B | 典型差异原因 |
|---|---|---|---|
| GPT-4o 系列 | 官方 ChatGPT(网页 / App) 按订阅制套餐计费,套餐内含一定使用量 |
第三方 API 封装应用 按 Token 用量精确计费 |
官方产品包含系统提示词、联网搜索等额外开销;第三方应用常隐藏系统提示词长度与工具调用,实际消耗更高 |
| DeepSeek 系列 | 官方对话入口 限时免费 / 低费率 |
接入同模型的中转平台 按 Token 转售,价格浮动大 |
中转平台叠加自身系统提示词与调用损耗;官方入口通常不额外套壳,消耗更可控 |
| Claude 系列 | 官方 Claude 网页端 订阅制,含 Artifacts 等特性 |
接入 Claude API 的第三方工具 按输入 / 输出 Token 分别计费 |
网页端把系统提示词与工具调用成本打包进订阅;API 侧长上下文、长输出会显著拉高单次费用 |
| 国产开源模型(Qwen / GLM / Kimi K2 等) | 厂商官方应用 通常赠送免费额度 |
本地部署(Ollama 等) 仅消耗电力与硬件,无 Token 费用 |
本地部署零调用成本,但需要硬件投入;云端产品按 Token / 时长计费,系统提示词越长、工具调用越多,消耗越大 |
- 系统提示词长度差异:智能体产品内置的系统提示词(System Prompt)越复杂,每次对话固定消耗的 Token 就越多;同一模型在不同产品里「起步价」不同。
- 是否开启工具调用:联网搜索、代码执行、图像解析等功能每次调用都会把工具返回结果重新送入上下文,显著推高消耗;关掉不用的工具可明显省钱。
- 预设上下文窗口大小:上下文窗口越大,模型可「记住」的内容越多,但每次请求携带的历史 Token 也越多;很多产品默认携带大量历史消息,长对话成本随之上升。
- 输出长度限制配置:输出 Token 上限(max tokens)设得越高,单次回答可能越长、计费越高;对简短回答场景降低输出上限可控制成本。
Token(词元)是模型处理文本的基本单位,可以理解为「模型眼里的最小文字碎片」。它既不是「字」,也不是「词」,而是模型分词器切分出来的片段:一个英文单词常被切成 1 - 3 个 Token,一个汉字通常约等于 1 - 2 个 Token,标点与空格也会占 Token。
换算参考:粗略估算,1 个汉字 ≈ 1 - 2 Token;1000 个汉字 ≈ 1500 - 2500 Token(因模型分词器而异)。输入和输出都会消耗 Token:你发过去的提示词 + 历史记录 = 输入 Token;模型生成的回答 = 输出 Token。几乎所有按量计费的 API 都按「输入 / 输出 Token 数量 × 单价」计费。
积分的通用计费原理:智能体产品的「积分」本质上是厂商把 Token 消耗折算成积分:积分单价 = 该模型的 Token 单价 + 产品附加成本(工具调用、系统提示词、带宽、运营)。所以同一模型在不同产品里积分「汇率」不同——比较成本时,应同时看「单价」和「单次对话实际消耗」,只看积分数字没有意义。
- 优先用官方免费额度:多数厂商官方应用提供免费额度,先消耗官方额度再考虑付费。
- 关闭不需要的工具调用:简单问答时关闭联网搜索、图像解析,避免工具返回内容拉高消耗。
- 控制上下文长度:长对话定期开新会话,避免大量历史记录反复计费;需要长文档时先用摘要压缩再提问。
- 选用轻量模型:简单任务选择 mini / flash / lite 等轻量档位,成本通常远低于旗舰模型。
- 本地部署(开源模型):对高频、量大、可离线场景,把开源模型部署到本地(参考下文硬件门槛)可把调用成本降为零,但需权衡硬件投入与维护成本。
以下为本站整理的参考门槛,实际占用与量化精度、上下文长度、并发数强相关,数值为「单模型运行」的大致量级。
| 模型 | 参数量级 | 推荐量化 | 显存参考 | 内存参考 | 能否纯 CPU 运行 |
|---|---|---|---|---|---|
| Qwen3-0.6B / 1.7B(轻量) | 10 亿级以内 | GGUF INT4 / INT8 | 2 - 4 GB | 8 GB | 可以,速度较慢 |
| Qwen3-4B / 7B / 8B(入门) | 40 - 80 亿 | GGUF INT4 | 4 - 8 GB | 16 GB | 可以,体验一般 |
| Llama 3.1 8B / Llama 4 Scout / GLM-4-9B(主流) | 80 - 170 亿 | GGUF INT4 / FP16 | 8 - 12 GB | 16 - 32 GB | INT4 可以,速度慢 |
| Qwen3-14B / 32B(中大型) | 140 - 320 亿 | GGUF INT4 / INT8 | 16 - 24 GB | 32 - 64 GB | 勉强,需大量内存 |
| DeepSeek-R1 蒸馏版(1.5B - 32B) | 15 - 320 亿 | GGUF INT4 | 16 - 32 GB | 32 - 64 GB | 勉强 |
| Llama 3.1 70B / Llama 4 Maverick / Qwen3-72B(旗舰) | 700 亿 - 1000 亿级(MoE) | GGUF INT4 | 40 - 48 GB | 64 - 128 GB | 很慢,不推荐 |
参考结论:普通笔记本(16 GB 内存)适合运行 4 - 8B 量级模型的 INT4 量化版本;专业显卡(24 GB 显存)可运行 14 - 32B 模型;70B 级旗舰模型需要多卡或大显存设备。详见术语词条「量化」「GGUF」。
- 幻觉(Hallucination):所有大模型都可能「一本正经地编造内容」,这是概率性现象而非偶发故障。能力较强的推理模型幻觉率通常更低,但无法完全避免;对事实类问题,务必以官方文档或可验证来源为准。参考术语「幻觉」。
- 知识截止时间:每个模型都有训练数据截止日期,之后发生的事件模型无法直接知道。闭源在线模型通常定期更新版本以刷新知识;开源模型的知识截止时间以该版本发布日为准,更早的版本对近期事件一无所知。需要实时信息时,应开启联网搜索或人工核对。
- 输出长度与稳定性:长输出场景下,模型可能重复、跑题或中途「失忆」;输出内容稳定性与模型、提示词结构、采样参数(Temperature 等)都有关。对重要任务建议分段生成并人工复核。
FP16(半精度浮点):模型的原始推理精度格式之一,占用空间大、速度相对慢,但精度损失最小。通常在服务器端、高显存显卡上直接加载。
GGUF:一种专为本地推理设计的模型封装格式,由 llama.cpp 生态推广,特点是把模型权重 + 分词器 + 元信息打包进单一文件,方便下载与管理,是 Ollama、LM Studio 等本地工具默认支持的格式。
INT4(4 位整数量化):把模型权重从 16 位压缩到 4 位,文件体积约为 FP16 的 1/4,显存占用大幅下降,速度更快,适合普通电脑;代价是精度轻微下降,复杂推理与数学任务可能出现更多误差。INT8 介于两者之间,是「体积、速度、精度」的折中档。
一句话总结:显存够大 → 用 FP16 追求最佳精度;普通电脑 → 用 GGUF INT4 / INT8 量化版换取「跑得动」。量化对能力的影响因模型而异,通常轻量任务无感,长文本与高难度推理差距更明显。参考术语「模型量化」「GGUF 模型格式」。
API(Application Programming Interface,应用程序接口)是程序与模型之间的「对话通道」:你把自己的程序接入厂商提供的接口,向模型发送请求并接收回答,按 Token 用量付费。参考术语「API」。
- 计费逻辑:按「输入 Token 单价 + 输出 Token 单价」计费,输入通常更便宜;部分厂商对缓存命中、批量请求提供折扣。
- 典型用途:把模型接入自己的网站、脚本、工作流,实现自动化问答、内容生成、数据处理;相比网页端更适合规模化、程序化使用。
- 注意事项:API Key 等同账户密钥,切勿写进前端代码或公开仓库;调用前看清限流(Rate Limit)与并发限制,避免超量产生高额账单。
微调(Fine-tuning)是在预训练模型基础上,用特定领域数据继续训练,让模型更贴合你的任务风格与格式。参考术语「微调」。
- 微调带来什么变化:让模型更稳定地输出特定格式(如固定 JSON、特定语气)、更懂领域术语与私有知识;但它不会「凭空教会」模型它不知道的知识,也不能明显提升模型本身的能力上限。
- 常见误区:数据量少、质量差时,微调效果可能不如「提示词工程 + 检索增强(RAG)」;对大部分个人场景,先试提示词优化与 RAG,再考虑微调,成本与风险都更低。
- 轻量方案:开源模型常用 LoRA / QLoRA 等参数高效微调方法,只需训练少量参数,消费级显卡即可完成,参考术语「LoRA」。