一体机的报价从十几万到两百万都有,差价主要落在显存和卡数上。该不该买只看一个数,日均 token 量。按当前国产模型的公开单价、按一台百万级的三年总成本折算,日均三亿 token 以下,调 API 的账更便宜。先把用量测准,再谈买机器。
2025 年初 DeepSeek 带火了一批「DeepSeek 一体机」,几十家厂商同时上桌。半年后市场冷静下来,原因是价格,一台能跑满血版 671B 的机器至少要八张 GPU,报价普遍在 120 万到 150 万,用国产卡还要两台并联才能凑够显存,预算接近 400 万。买回去之后多数企业只用来跑几十人的问答,卡长期闲着。
2026 年的主流换成了 32B 和 70B 的轻量机型,一体机的入门价压到二三十万,个别厂商把门槛报到五万起。价格下来了,决策没变简单。钱该花在哪个档位,取决于三个数,显存要多少、日均用多少、运维谁来做。这三个数不算清,买贵了是浪费,买便宜了上线就卡。
先说清两个概念,后面不容易混。私有化部署是一种部署方式,模型和数据都在自己的网络里。一体机是其中一种交付形态,硬件、推理框架、模型、管理界面打包好送上门。同样叫私有化,你也可以自己采购 GPU 服务器来搭,两种形态的价格和风险不一样。
一、先算显存,它决定你买几张卡
显存需求由三块构成,权重、KV Cache、框架与激活开销。权重最好算,参数量乘每个参数的字节数,FP16 约 2 字节,INT8 约 1 字节,INT4 约 0.5 字节。麻烦的是 KV Cache,它随上下文长度和并发数线性增长,短问答场景可能只占权重的一成,长文档或高并发下会超过权重本身。
工程上能用的档位大致是这样,量化方案和推理框架不同会有出入,以实测为准。
| 模型规模与精度 | 权重占用 | 加上 KV 与框架后建议 | 对应的卡 |
|---|---|---|---|
| 7B INT4 | 4~5 GB | 8~12 GB | 单卡 24GB |
| 14B INT4 | 9~10 GB | 14~18 GB | 单卡 24GB |
| 32B INT4 | 19~21 GB | 28~36 GB | 单卡 48GB,或双卡 24GB |
| 70B INT4 | 40~45 GB | 55~70 GB | 单卡 80GB,或双卡 48GB |
| 70B FP16 | 约 140 GB | 170~200 GB | 3×80GB 或 4×48GB |
| 671B MoE FP8 | 约 700 GB | 800 GB 以上 | 8×80GB 起 |
这张表往下看,每跨一档,卡数翻倍,价格也跟着翻。所以「买多大的机器」这个问题,实际是在问「你要跑多大的模型、留多少并发余量」。
三个判断标准,拿去对照自己的场景。
内部知识库问答、几十到两百人用,32B 的 INT4 就够。 一张 48GB 卡能装下,机器落在轻量档,二三十万。真要更好的效果,把检索做好比换大模型有效,方法见企业私有化 AI 知识库的搭建流程。
要跑 70B,而且回答质量不能打折,直接按 FP16 算显存。 140GB 权重意味着至少三张 80GB 卡,机器直接跳到七十万以上。这一步最容易错,按 INT4 预算买了双卡 48GB,上线发现量化后的归纳和长文写作明显变差,只能加卡。
671B 满血版不要自己买。 八卡起步,机器百万以上,多数企业的日均用量撑不起这个投入。真需要这个能力,用 API 或者云上专属实例。
还有一个常被忽略的变量,并发不等于显存够。显存算得再准,卡的计算吞吐也可能顶不住。一百人同时提问和一百人分散在一天里提问,对硬件的要求差好几倍。压测要用你们真实的提问长度和并发数跑,别看厂商给的「支持多少并发」的标称值。显存公式与并发压测的细节,这篇私有化部署的实操指南写得更细。
二、一体机的价格带,从十万到两百万差在哪
公开报价与研报口径放在一起看,2026 年的大模型一体机大致分四档。价格随时在动,下面只作量级参考,实际以厂商现价为准。
| 档位 | 典型配置 | 参考价 | 适合的场景 |
|---|---|---|---|
| 轻量推理 | 单卡 24~48GB,或国产 NPU 单卡 | 10~30 万 | 7B~32B,几十到两百人内部问答 |
| 中档推理 | 4 卡 24~48GB,或双卡 80GB | 30~50 万 | 32B~70B 量化版,几百人使用 |
| 八卡推理 | 8×A100 80GB 一类 | 70~90 万 | 70B FP16,或 671B 量化版 |
| 训推一体 | 八卡以上加高速互联 | 100~200 万 | 要在本地做微调和训练 |
研报里能对上的几个具体机型,浪潮 NF5468M6 配 8 张 A100 80GB 报价约 85 万,华为 Atlas 800 配 16 张昇腾 910 约 72 万,新华三 R4950 G5 配 4 张 A30 24GB 约 38 万,联想 SR650 V2 配 2 张 MI250X 约 22 万起。同一份研报还提到,2025 年 9 月一体机均价从上半年的 180 万降到 150 万左右,基础推理机型跌破 30 万。
价格差在哪,一在卡,二在显存颗粒和互联,三在软件栈。研报给的一体机毛利率在 40%~50%,自建服务器的硬件毛利通常只有一到两成,差额就是预置的推理框架、模型适配、管理界面和上门支持。
这笔溢价值不值,看你的团队里有没有人能从零把推理服务调起来。有专职的人,自建服务器省钱。没有,一体机买的是交付确定性,省下的是试错时间。
三、云 API 的单价,要先折算成可比口径
各家官网的定价页都写「元每百万 token」,但输入和输出是两个价,输出通常是输入的三到四倍。只看输入价会低估支出,因为在问答场景里,模型生成的 token 往往占到总量的四到六成。
2026 年公开报价的量级大致如下,调价频繁,以各家官网现价为准。
| 模型档位 | 输入(元每百万 token) | 输出(元每百万 token) |
|---|---|---|
| 轻量(豆包 Lite、Qwen-Plus 一类) | 0.3~0.8 | 0.6~2 |
| 主力(DeepSeek V3、Doubao-Pro 一类) | 1~2 | 2~8 |
| 旗舰(Qwen-Max、旗舰推理模型) | 5~15 | 15~50 |
把两个价折成一个数才能和硬件比。公式很简单,综合单价等于输入占比乘输入价,加上输出占比乘输出价。按输入六成、输出四成估,主力档模型的综合单价落在 1.4~4.4 元每百万 token。下面的测算取 3 元作基准,这是一个中间偏保守的假设,如果你的业务偏生成型(写文案、写代码),实际单价会更高;如果偏检索问答,会更低。
为什么要费劲折算,因为这是判断「该不该自己买」的唯一可比基准。硬件那边是一次性投入加运营支出,API 那边是按量付费,两者只有折算成同一个单位才能比。
四、四笔钱放进三年总账
以一台 40 万的八卡推理机为样本,把三年内要花的钱列全。表中是区间估值,具体项目按实际报价。
| 项目 | 三年金额 | 说明 |
|---|---|---|
| 硬件 | 40 万 | 八卡推理机,中位配置 |
| 机房电力改造 | 3~8 万 | 单机柜 4~6kW,原有配电和散热可能要扩容 |
| 软件与应用集成 | 8~15 万 | 推理框架开源免费,钱花在应用层开发、单点登录、权限对接 |
| 电费 | 6~10 万 | 按 4~6kW、负载六成、电价 0.8 元每度估 |
| 运维 | 15~24 万 | 外包年费 5~8 万,或自养半个到一个人 |
| 数据工程 | 5~15 万 | 语料清洗、知识库整理、权限梳理 |
| 模型换代预留 | 5~10 万 | 三年内大概率要换一次模型或加卡 |
| 合计 | 82~122 万 | 取 100 万作测算基准 |
这张表里最容易被高估的是电费。4kW 满载跑一年也就三万五千度电,按 0.8 元算 2.8 万,占三年总成本不到一成。真实的大头是运维和数据工程,两项加起来能占到四成,而且这两项在采购报价单上是看不到的。
研报和几家服务商的经验值都提到一个乘数,三年总拥有成本大约是硬件采购价的三到四倍。上表按 40 万硬件算出 82~122 万,倍数在 2 到 3 之间,差异来自机房条件和运维方式。没有机房、要把设备托管出去的企业,这个倍数会更高。
五、单位成本随用量摊薄,拐点可以自己算
有了三年总成本,就能算出一体机真实的单位成本,再和 API 单价放一起看。
公式是三年总成本除以三年总 token 量。按日均 token 算,三年总 token 等于日均 token 乘 1095。以 100 万总成本为例。
| 日均 token | 三年总 token | 一体机单位成本 | 对比 API 的 3 元 |
|---|---|---|---|
| 1000 万 | 109.5 亿 | 约 91 元每百万 | 贵 30 倍 |
| 5000 万 | 547.5 亿 | 约 18 元每百万 | 贵 6 倍 |
| 1 亿 | 1095 亿 | 约 9.1 元每百万 | 贵 3 倍 |
| 3 亿 | 3285 亿 | 约 3.0 元每百万 | 持平 |
| 6 亿 | 6570 亿 | 约 1.5 元每百万 | 便宜一半 |
这张表解释了一件事,为什么大量企业买了一体机之后觉得不划算。它们的日均用量在千万级,单位成本是 API 的几十倍,机器大部分时间在空转。
反过来推拐点也不难。日均拐点等于三年总成本除以 1095 再除以综合单价。100 万总成本、3 元单价,算出来日均约 3.04 亿 token。如果对标的 API 是贵一档的模型(综合 8 元),拐点降到日均 9000 万上下;如果对标的是轻量模型(综合 1.5 元),拐点抬到日均 6 亿。
所以「日均多少才该自己买」这个问题没有统一答案,它跟着你用的模型档位走。把你们自己的三个数代进去,十分钟能算完。三个数是日均 token 量、你们打算对标的 API 综合单价、供应商给的三年总报价。
一个容易被忽略的细节,一体机省的不只是 token 钱。数据不出内网这件事在有些行业是硬约束,这部分的溢价没有价格,也不该塞进成本表里比较。
六、这条账在哪些情况下不作数
成本算完还有四种情况会推翻结论,判断时先过一遍。
数据不能出内网,而且有明文依据。 涉及重要数据、核心数据,或者合同与监管明确要求本地化,成本高低不构成理由。数据分类分级的判断口径见这份 GB/T 43697 的落地清单。
要在自有数据上做微调。 API 一般不提供权重级微调,能做到的是提示词和少量样本调优。业务真的需要模型学会公司特有的话术和格式,硬件是必要条件。微调之前先确认 RAG 解决不了,多数场景其实能解决。
调用延迟有硬要求。 生产线上做视觉质检、工单实时分类这类场景,几十毫秒的差距会影响业务。跨公网调 API 的抖动不可控,本地推理能把这个变量拿掉。
供应商锁定不能接受。 模型版本、价格、接口都由外部决定,业务的关键环节挂在这上面,有些企业不接受这种依赖。这是治理层面的判断,不全是钱的事。
四种情况都不成立,就老实按成本算,多数中小企业会落到「先用 API」。
七、一体机、自建服务器、云上专属实例怎么取舍
三种形态都是私有化,差别在谁承担哪部分风险。
| 形态 | 一次性投入 | 谁来运维 | 适合谁 |
|---|---|---|---|
| 一体机 | 10~90 万 | 厂商加你的 IT | 没有专职 AI 工程师,要开箱能用 |
| 自建 GPU 服务器 | 硬件价,通常低两到三成 | 你自己 | 有机房、有懂推理框架的人 |
| 云上专属实例 | 无,按月付 | 云厂商管硬件,你管模型 | 用量波动大,或先做验证 |
自建服务器的省钱有前提。你要自己能选卡、能配驱动、能调推理框架的参数、能在半夜处理显存泄漏。这些能力不具备,省下的两成会在上线后的三个月里以另一种方式花掉。
云上专属实例是中间路线,硬件在云上、数据物理隔离、按月付费。用量还没稳定下来的阶段,这条路的试错成本最低。验证完再决定买不买机器,比反过来便宜得多。
顺带说一句资源隔离。一台 GPU 服务器如果同时跑知识库、跑代码助手、跑几个部门的试验项目,卡怎么分、显存怎么隔离、谁的超额请求把别人的服务拖慢,这些问题在单机部署里一样存在。虚拟化和容器层面的资源切分,思路和普通服务器整合是一套,见企业虚拟化平台的资源规划方法。
八、国产卡和英伟达,怎么在这笔账里取舍
2026 年的采购绕不开这个问题。研报口径的对比是这样,昇腾 910B 提供 64GB HBM2e、FP16 算力 376 TFLOPS,寒武纪思元 590 的性能约为 A100 的八成到九成、价格约为三分之一,摩尔线程 MTT S5000 提供 48GB 显存。2025 年国产 AI 加速卡在国内出货的份额到了 41%。
单看性价比,国产卡有优势。但采购价只是账本的一栏,另外两栏要一起算。
适配工作量。 主流开源模型对昇腾、寒武纪的支持已经比较完整,但冷门模型、自定义算子、特定量化方案仍可能踩坑。适配要人天,这部分要么算进项目预算,要么算进上线时间。
长期供应。 英伟达的高端卡在国内的供给一直有不确定性,价格波动大。国产卡的供货稳定性更好,代价是生态成熟度。
一个务实的判断,推理场景国产卡已经够用,训练场景仍然要谨慎。买之前让对方在你的真实模型和真实数据上跑一遍,看首 token 延迟和吞吐,别只看标称算力。
九、三个常见错判
按「以后可能要训练」配机器。 训推一体的价格是纯推理机型的两倍以上,而三年内真的做训练的企业是少数。训练需求真出现时,租云 GPU 按小时算,比提前买八张卡放在机房折旧划算。
拿第一年的支出比月账单。 一体机的钱集中在第一年,API 是逐年付。只比第一年,一体机永远更贵;只比第三年的纯运营支出,一体机永远更便宜。要比就比三年总和,而且要把运维和数据工程算进去。
以为买回来就能用。 硬件到位只是第一步。知识库要整理,权限要设计,业务系统要对接,这些工作量通常超过部署本身。项目周期按两到三个月排比较现实,压到两周的承诺要问清楚砍掉了哪部分。
十、动手之前的顺序
按这个顺序走,能把试错成本控制在几万块以内。
第一,选一个真实场景跑三个月 API,把日均 token 量测出来。选场景的标准是有人真的在用,不是「理论上很有用」。
第二,按上一节的公式算出你们自己的拐点。三个数代进去,看日均用量离拐点还差多远。差一个数量级,暂时不用考虑买硬件。
第三,确认合规约束。有没有数据不能出内网的明文要求,有没有行业监管的具体规定。这一条是硬门槛,不成立就先不用算钱。
第四,需要买的时候,先租云 GPU 或云上专属实例跑两周压测。拿到真实的并发和延迟数据,再和供应商谈配置。带着压测报告去谈,报价能压下来一截,配置也不容易被推销放大。
第五,采购时把运维写进合同。响应时间、模型升级、故障处理的责任边界,这三项在报价单上通常没有,出问题时最费口舌。
不确定自己的用量在哪个量级、该配多大的机器,可以先用数字化现状体检把现有系统和使用情况摸一遍,再谈硬件。需要具体测算的,联系我们按你们的实际场景算一份。
部署完成之后还有一件事,谁在用、用了多少、哪些数据被送进了模型。这部分不归采购管,但会在半年后变成新的问题,管法见企业 AI 使用与数据边界治理。
常见问题
一体机报价含模型授权费吗
开源模型(DeepSeek、Qwen、Llama 系列)本身免费商用,一体机报价里通常不含这部分。但部分厂商会在软件栈里收年费,采购时要把「首年之后的软件费用」单独问清楚,别只看整机报价。
显存买大一点,以后能少换机器吗
留余量有意义,但要看留多少。按当前模型规模留三到五成余量是合理的,按「三年后可能跑十倍大的模型」留,等于现在多花一倍钱买来闲置。模型迭代的方向是同等能力下参数更小,不是更大。
租云 GPU 验证,和最后买一体机,配置能对上吗
对不上是常态,但验证的是上限和瓶颈,不是绝对性能。云上跑通了,说明模型和业务匹配;跑不通,说明问题在方案不在硬件,这时候买机器解决不了。
一体机能不能只跑一个部门
能,但不划算。单位成本完全由利用率决定,只服务一个部门意味着这台机器大部分时间闲置。这种情况用 API,或者几个部门共用一套。