GPU服务器租用多少钱？影响AI算力租赁价格的因素

2026-11-10 10:54 浏览: 次

"一张H100一个月多少钱？"这是AI算力租赁里被问得最多、也最难一句话回答的问题。同样标称8卡H100的机器，不同服务商的报价可能相差两三倍，原因不在卡本身，而在整机的配套、网络的等级、计费的方式以及服务的边界。理解价格是怎么构成的，比记住某个具体数字更有用。

本文把GPU服务器租用价格拆成可解释的五个部分，给出主流卡型的参考区间与计费模式对照，并总结六个真正影响报价的因素，最后给出一套判断报价合理性的方法。

一、租用价格由哪些部分构成

一台GPU服务器的租金，本质是"硬件折旧 + 电力 + 机房 + 网络 + 运维 + 毛利"的分摊。理解这个结构，就能明白为什么配置表看起来一样、价格却差很多。

1.1 五个成本项

GPU折旧：占比最高，通常50%–70%。一张高功耗卡按3年折旧，每天的折旧成本就相当可观，卡型越新、显存越大，这部分越贵。
电力与制冷：8卡H100整机功耗约6–8kW，加上制冷PUE，实际用电可能是标称的1.3–1.5倍。电价差异会直接体现在月租上。
机位与带宽：机柜空间、公网带宽、跨区专线都是按月计费的固定成本，多机训练用户还要为InfiniBand网络付费。
存储：本地NVMe通常包含在套餐内，超出部分按GB/月计费；共享并行存储价格更高。
运维与服务：7×24响应、故障换机承诺、代维与镜像支持，都会折算进价格。

所以看到"同款8卡机报价差一半"时，先别急着判断谁在坑人，多半是电力、网络或服务等级不同。把这几项逐条对齐，价格才有可比性。

1.2 一个粗略的成本拆解示例

以一台8卡H100整机为例，按参考量级拆解月成本：GPU与机头折旧约占55%–65%，电力与制冷约占15%–20%，机位与带宽约占8%–12%，存储约占5%–8%，运维与服务约占5%–10%。这个比例会随电价、卡价与合约长度浮动，但它解释了一个常见现象：当显卡供给紧张、二手卡价格上行时，租金会整体上移；当电价上调或机房扩容时，租金也会被动跟涨。反过来，如果某家报价显著低于这个结构算出的下限，就要警惕是否存在超售、共享卡时或隐性收费。

需要强调的是，超售本身不是原罪。推理场景下适度超售可以提高资源利用率、降低单价，前提是服务商明确告知并给出可预期的性能基线。真正的问题在于"按独占价卖共享资源"，这与价格高低无关，属于信息披露问题。

二、主流卡型的参考价格区间

下表按单卡、按小时与按月给出参考区间，整机价格通常按卡数线性放大但有一定折扣。不同地区、不同机房、不同合约长度差异明显，仅作量级参考。

卡型	显存	按小时参考价（元/卡）	按月参考价（元/卡）	典型用途
RTX 4090	24GB GDDR6X	约1.5–3	约1000–2200	小模型微调、图像生成、教学实验
L40S	48GB GDDR6	约3–6	约2200–4500	推理服务、图形渲染、视频生成
A100 80GB	80GB HBM2e	约5–9	约3500–6500	中等规模训练、稳定推理
H100 80GB	80GB HBM3	约8–15	约6000–11000	大模型训练、高吞吐推理
H200 141GB	141GB HBM3e	约11–19	约8000–14000	长上下文推理、70B级模型
B200 192GB	192GB HBM3e	约20–38	约15000–28000	百B级模型训练、MoE推理

从这张表能看出一个规律：价格与"显存容量×带宽"的相关性，比与算力的相关性更强。原因是大模型业务普遍先被显存卡住，市场愿意为显存付溢价，而不仅是为FLOPS付溢价。

2.1 整机与单卡的价格关系

8卡整机的月租并不是单卡价×8。由于机头（CPU、内存、机箱、电源）成本被摊薄，且服务商愿意给整机客户折扣，实际价格通常是单卡价×8的0.85–0.95。反过来，只租1卡时往往要承担更高的机头分摊，单卡价格反而偏贵。这也是"小规模试水偏贵、规模化后单价下降"的原因。

三、影响价格的六个核心因素

3.1 显卡型号与代际

新一代卡（H100、H200、B200）受供给与需求双重影响，溢价明显；上一代卡（A100、V100）随着存量增加，价格逐年下探。需要注意，老卡的"便宜"有时是陷阱：如果模型规模已经超出其显存，便宜也跑不起来。

3.2 卡间互联形态

同为8卡H100，SXM+NVLink整机比PCIe版本贵20%–40%，但训练扩展效率高出一大截。做训练必须为互联付费，做推理则可以把这部分省下来。报价单上如果只写"H100×8"而不写SXM还是PCIe，这条报价基本无法评估。

3.3 网络带宽与线路质量

公网带宽从10M到1G，价格可以相差数倍；BGP多线、CN2、国际专线的溢价更高。多机训练还需要内网200G/400G InfiniBand，这部分按端口或按交换机端口月租计费，是集群成本里容易被低估的一块。

3.4 机房位置与电力成本

一线城市核心机房电价与机位费更高，但网络时延好；西部枢纽机房电力便宜，适合离线训练。中国大陆的贵州、内蒙古、甘肃等枢纽节点，以及中国香港、新加坡等境外节点，价格结构与适用场景各不相同，选择时应以业务访问人群与合规要求为先。

3.5 合约长度与预付比例

按月付、按季付、按年付的折扣梯度通常是0、5%–10%、15%–25%。但长约意味着把价格锁定在当前水平，若下一代卡降价较快，反而可能吃亏。折中做法是"核心负载签长约、峰值负载按小时"。

3.6 服务等级（SLA）

承诺99.9%可用性与承诺99.5%的报价不同，故障4小时换机与24小时换机也不同。对训练任务，中断一次的损失可能远超租金差额，SLA值得单独比价。需要注意的是，SLA是"事后补偿"而非"事前保障"，真正减少中断的手段是检查点机制与多节点冗余，采购时应把这两项纳入方案设计，而不是只盯着赔付比例。

3.7 供需周期与季节性波动

算力价格有明显的周期性。新卡量产初期供给紧张、价格高企；随着产能释放与二手卡流入，上一代卡价格会快速下探。每年的大模型发布季、电商大促前的推理扩容期，短期需求集中释放，按小时价格可能上浮20%–40%。反过来，春节前后的低谷期、以及新卡交付后的旧卡置换期，往往能谈到更好的价格。

对采购方而言，这个规律有两个用法：一是避开需求高峰签订短期合约，二是把非紧急的训练任务安排在价格低谷期跑批。对长期合约，则要评估"锁定价格"与"未来降价"之间的期望差，通常12个月是较平衡的期限。

四、计费模式怎么选

计费模式	计价方式	适合场景	注意事项
按小时	按实际开机时长计费，常见最小粒度1小时	实验验证、短期跑批、峰值溢出	注意关机是否仍收存储与机位费
按月	整月固定价，含一定流量与存储	常态化推理服务、稳定训练周期	确认超额流量与存储单价
按年/长约	年付折扣，通常15%–25%	长期稳定的生产负载	锁定价格也锁定配置，留意升级条款
竞价/闲时	按市场供需浮动，可低至常规价3–5折	可中断的离线训练、数据预处理	随时可能被回收，必须做检查点
包卡不限时	按月独占整机，不计量时长	7×24高负载、需要独占硬件	确认是否真独占、是否共享存储

实际使用中，混合计费往往最省：基线负载用月付或年付锁定成本，训练高峰用按小时临时扩容，可中断任务丢到竞价实例。很多团队把全部负载都放在按小时上，看似灵活，月结时反而比包月贵30%以上。

4.1 计费粒度的隐藏差异

同样是"按小时"，不同服务商的结算方式差别很大：有的按整点向上取整，跑1小时10分钟算2小时；有的按分钟计费；有的关机后仍收取存储与公网IP费用。实验类负载频繁开关机时，这几种规则算出来的月账单可能相差40%。询价时应要求对方写明"最小计费单位、关机计费项、快照与镜像存储单价"三项，这三项决定了账单的下限。

另一种容易忽略的成本是"空闲成本"。训练任务排队、数据准备、环境调试期间，GPU往往处于闲置但仍计费的状态。解决办法是把调试放到便宜的卡型上做，只在正式跑批时切到高端卡；或者使用支持"预留+弹性"的混合方案，让闲置窗口自动释放。把上面这些成本项交给天下数据报价时，通常会按整机、机柜与带宽分段列出。这一点在询价阶段可以直接问清楚。

五、如何判断一份报价是否合理

拿到报价单后，建议按下面的清单逐项核对，缺项就问，含糊就要求写明：

卡型是否写全：型号、显存容量、SXM还是PCIe、是否NVLink互联。
机头配置是否列明：CPU型号与核数、内存容量与代际、系统盘与数据盘容量。
网络是否含在内：公网带宽、流量上限、内网带宽、是否支持RDMA。
存储是否另计：包含多少GB，超出单价多少，快照是否收费。
可用性与赔付：SLA数值、故障响应时长、是否赔付。
迁移与退出：数据导出是否收费、镜像能否带走、能否转包月。

把这六项填满，两份报价才有可比性。只比"每月多少钱"数字的做法，几乎一定会踩坑。

5.1 单位算力成本才是真正的比较口径

更专业的比较方式，是把月租除以"有效吞吐"。例如两张卡跑同一个70B推理服务，一张月租8000但每秒只能出30个token，另一张月租12000但能出60个token，后者的单位token成本反而更低。建议在决策前用真实业务流量做一轮压测，用"元/百万token"或"元/训练epoch"作为最终口径。

在 GPU 服务器租用的供应商选择上，天下数据在美国洛杉矶机房提供 CN2 GIA 直连线路，与中国香港节点形成双入口；售前会给出机型对比清单与算力测算，交付前支持整机压测验收。具体机型与最终价格以官网公示和商务确认为准。