H100 GPU的计算能力如何衡量？核心指标详解

"这张卡算力多少"是选型时最常被问到的问题，也是最容易被简单化的一个问题。厂商标称的 TFLOPS 只是峰值上限，真正决定业务表现的是峰值算力、显存带宽、互联能力、实际利用率与能效共同作用的结果。同样一张 H100，在不同精度、不同模型、不同并行策略下，能被利用起来的算力可能相差数倍。

一、为什么不能只看一个数字

算力指标的复杂性来自两个层面：一是精度口径不统一，二是瓶颈会转移。忽略任何一点，都会得出错误结论。

1.1 精度口径决定数字大小

同一张 H100，FP8 稀疏算力参考值约 3958 TFLOPS，BF16 约 1979 TFLOPS，TF32 约 989 TFLOPS，FP64 只有约 67 TFLOPS。四个数字相差近六十倍，如果不注明精度与是否稀疏，比较毫无意义。厂商宣传常用"最高算力"，指的就是 FP8 加稀疏的组合，而实际业务未必能用上。

因此在任何算力讨论中，第一句话就应当明确口径：什么精度、密集还是稀疏、单卡还是整机、理论峰值还是实测。这四项确定之后，数字才有可比性。

1.2 瓶颈会随负载转移

算力只是流水线中的一环。数据加载慢，GPU 会等；显存带宽不足，计算单元会等；卡间通信慢，多卡会等；显存容量不够，模型根本跑不起来。衡量计算能力，本质上是找出当前负载下的瓶颈环节，而不是找一个万能分数。

实践中常见的现象是：小模型跑不满算力，因为启动开销与数据供给占主导；大模型跑不满带宽，因为访存密集；多卡跑不满互联，因为通信占比过高。理解这一点，才能把指标用在正确的地方。

二、指标一：峰值浮点算力

峰值算力是最直观的指标，单位是 TFLOPS（每秒万亿次浮点运算），衡量的是计算单元在理想状态下每秒能完成多少次乘加。

2.1 计算方式的粗略推导

峰值算力的估算公式可以简化为：SM 数量 × 每 SM 每时钟周期的浮点操作数 × 时钟频率 × 2（乘加算两次操作）。H100 拥有约 132 个 SM，第四代 Tensor Core 在每个 SM 上提供远超通用核心的矩阵吞吐，配合约 1.8GHz 级别的加速频率，就能推出各精度的标称值。不同精度对应的"每周期操作数"不同，FP8 是 BF16 的两倍，BF16 又是 TF32 的两倍，这解释了为什么算力表呈现倍数关系。

这个推导也说明了峰值算力的三个前提：所有 SM 都在工作、每个周期都在做矩阵运算、数据供给从不中断。现实中三个前提很难同时满足，所以实测值总低于峰值。

2.2 稀疏算力的适用边界

H100 支持 2:4 结构化稀疏，标称稀疏算力是密集算力的两倍。但这份翻倍收益只有在模型权重满足稀疏模式、且使用支持稀疏的算子时才能兑现。通用模型如果不做稀疏训练，实际能用的仍是密集算力。选型时若看到"稀疏算力"字样，应追问业务模型是否具备稀疏条件，否则应按密集值评估。落地阶段如果不想自建机房，天下数据这类 IDC 服务商可以提供整机与机柜的组合方案。比单看参数更接近真实的落地成本。

三、指标二：显存容量与带宽

显存常被当作附属参数，实际上它决定"能不能跑"，带宽决定"跑得快不快"。对 AI 负载，这两个指标的重要性不亚于算力。

3.1 容量决定模型上限

H100 提供 80GB 显存，SXM5 为 HBM3，PCIe 为 HBM2e。容量直接决定单卡能装下的模型规模，以及能开的 batch 与上下文长度。粗略估算，混合精度训练时每十亿参数约需十几 GB 显存用于权重、梯度与优化器状态，再叠加激活值；推理时权重占用减半，但要为 KV Cache 预留空间。80GB 是一个实用门槛，能覆盖多数经过量化或切分的中等规模模型。

3.2 带宽决定数据供给速度

H100 SXM5 的显存带宽约 3.35TB/s，PCIe 版本约 2TB/s。带宽的重要性在访存密集型负载中最明显：大模型解码阶段每生成一个 token 都要完整读一遍参与计算的权重，此时吞吐几乎与带宽成正比；长上下文场景中 KV Cache 的读写量随长度增长，带宽不足会直接推高延迟。

衡量带宽是否够用，可以看"算术强度"：每读取一字节数据能完成多少次浮点运算。算术强度高的负载（如大矩阵乘法）对带宽不敏感，算术强度低的负载（如逐元素操作、归一化）则受带宽制约。优化时先判断负载属于哪一类，再决定是提升算力还是提升带宽。

四、指标三：互联带宽

单卡指标只能描述孤立设备，多卡系统的能力还要看卡与卡之间的通路。H100 SXM5 的第四代 NVLink 单卡双向带宽约 900GB/s，配合 NVSwitch 实现八卡全互联；PCIe 5.0 x16 的双向带宽约 128GB/s，两者相差约七倍。

4.1 互联如何影响有效算力

并行训练中，每一步都包含计算与通信两个阶段。通信时间与数据量成正比、与带宽成反比，当通信时间接近甚至超过计算时间时，增加卡数不再带来收益，反而因通信量增长而变慢。衡量互联是否够用，可以计算"计算通信比"：单步计算耗时除以单步通信耗时，比值大于三通常说明通信可以被较好隐藏，小于一则说明系统已受通信限制。

这也是评估多卡方案时必须看拓扑的原因。同样的八卡，全互联与树状拓扑的有效带宽差距很大，标称带宽相同不代表实际表现相同。

4.2 跨机网络同样是算力的一部分

集群规模超过单机后，InfiniBand 或高性能以太网的带宽、收敛比、延迟都会影响整体效率。评估时不能只看 GPU 参数，还要看网络是否与 GPU 能力匹配。400G 网络配合 GPUDirect RDMA 是当前较常见的配置，网络带宽不足会让昂贵的 GPU 算力闲置。带宽计费上，天下数据提供包月与突发两种口径，按流量特征选择更合适。

五、指标四：实际利用率与有效算力

峰值算力乘以利用率，才是有效算力。这是最容易被忽略、也最能拉开团队差距的指标。

5.1 MFU：模型算力利用率

MFU（Model FLOPs Utilization）是衡量训练效率的通用指标，计算方式是：模型实际需要的浮点运算量除以（峰值算力 × 实际耗时）。举例来说，一个模型单步需要约 400 TFLOPS 等效运算，而 H100 的 BF16 峰值约 989 TFLOPS，若单步耗时使实际吞吐达到 400 TFLOPS，则 MFU 约为 40%。

行业实践中，大模型训练的 MFU 通常在三成到五成之间，优化良好的实现可以更高。MFU 偏低的原因包括：数据加载瓶颈、通信未隐藏、算子效率低、batch 过小、显存带宽受限。定位时可以用性能分析工具逐层查看耗时，找出占比最高的环节。

5.2 推理侧的关键指标

推理不用 MFU，而看吞吐与延迟：每秒输出 token 数、首 token 延迟、每 token 延迟的分位数。这三个指标共同刻画服务能力，单看吞吐会忽略交互体验，单看延迟会忽略成本。评估时应固定模型、量化方式、上下文长度与并发数，否则数据不可比。

另一个实用指标是"每卡并发承载量"，即在满足延迟目标的前提下，一张卡能同时服务多少路请求。它直接决定单位算力的服务成本，比峰值算力更贴近业务。

5.3 GPU 利用率的监控方法

• SM 利用率：反映计算单元的忙碌程度，长期低于七成说明存在等待。
• 显存带宽利用率：接近饱和而 SM 利用率不高，说明负载访存密集。
• 张量管道活跃度：直接反映矩阵单元的使用情况，比 SM 利用率更精确。
• 通信占比：多卡场景下统计通信耗时占总步时的比例，超过三成需优化。
• 功耗与频率：功耗长期达不到设定上限，通常意味着算力没跑满。

六、指标五：能效与单位成本算力

规模化之后，电费与机柜成本会显著影响总拥有成本，能效因此成为衡量算力的重要维度。H100 SXM5 整卡功耗约 700W，PCIe 版本约 350W，但算力差异并不是简单的两倍关系，评估时要按"每瓦有效算力"计算，而不是只看整卡功耗。

6.1 能效的两种口径

第一种是芯片级能效：峰值算力除以整卡功耗，得到每瓦 TFLOPS。第二种是系统级能效：有效算力除以整机功耗（含 CPU、内存、风扇、电源损耗），再考虑机房 PUE。后者更接近真实成本，但测量复杂。对采购决策，建议用系统级口径，因为它包含了散热与供电的实际开销。

6.2 单位成本算力

把采购价、电费、机房租金、运维人力按三年折算，除以期间的有效算力产出，得到"每单位有效算力的成本"。这个指标能消除不同方案在价格与效率上的差异，是横向比较最公平的口径。计算时要注意把闲置率算进去：利用率五成的机器，单位有效算力成本是满载时的两倍。

七、核心指标汇总

下表把前述指标整理成一张对照表，包含定义、H100 参考值、测量方式与适用场景，可作为评估清单使用。

指标	定义与单位	H100 参考值	测量方式	主要适用场景
FP8 张量算力	每秒浮点运算次数，TFLOPS	密集约 1979，稀疏约 3958	厂商规格 / 微基准测试	低精度训练与高吞吐推理
BF16 张量算力	每秒浮点运算次数，TFLOPS	密集约 989，稀疏约 1979	矩阵乘法基准、训练步时反推	大模型训练主流精度
FP64 算力	双精度浮点吞吐，TFLOPS	约 67	双精度基准程序	科学计算、高精度仿真
显存容量	可寻址显存，GB	80GB（HBM3 或 HBM2e）	nvidia-smi / 框架查询	决定模型规模与 batch 上限
显存带宽	每秒读写字节数，TB/s	SXM5 约 3.35，PCIe 约 2.0	带宽测试程序、拷贝计时	解码推理、长上下文、访存密集算子
卡间互联带宽	单卡双向带宽，GB/s	NVLink 4 约 900，PCIe 5.0 约 128	NCCL 带宽测试	张量并行、专家并行、梯度规约
MFU	实际算力占峰值比例，%	视模型与优化，常见三到五成	模型 FLOPs 除以实测吞吐	训练效率诊断
推理吞吐与延迟	tokens/s、毫秒	依模型与量化方式而定	推理引擎压测	在线服务容量规划
能效比	每瓦有效算力	随精度与利用率变化	算力除以整机功耗，再折算 PUE	规模化机房的成本评估

表中数值为单卡公开参考规格，整机与集群指标需按实际配置折算。任何对比都应保证测试条件一致，否则数字之间没有意义。

八、做一次完整评估的步骤

把指标落到执行，可以按以下五步推进，既适用于采购前的选型验证，也适用于已上线机器的性能体检。

8.1 第一步：明确负载画像

先写下业务的真实需求：模型参数量与结构、训练还是推理、精度要求、上下文长度、并发规模、可接受的延迟。这些信息决定了哪些指标是硬约束，哪些可以妥协。没有负载画像的算力评估，只是在比较参数表。

8.2 第二步：确认硬件与软件基线

用 nvidia-smi 确认型号、显存、功耗上限、PCIe 链路速率与卡间拓扑；记录驱动、CUDA、框架、通信库版本。这些是后续所有测量的前提，任何一项异常都会让数据失真。拓扑显示为 PCIe 而非 NVLink 时，多卡测试结果没有参考价值。

8.3 第三步：跑微基准

分别测量显存带宽、卡间带宽、不同精度的矩阵乘法吞吐。微基准的作用是确认硬件是否达到应有水平，排除降频、链路降级、驱动异常等问题。测得值通常为标称的七到九成，明显偏低就要排查。

8.4 第四步：跑真实负载

用目标模型与目标框架跑端到端任务，记录吞吐、延迟、显存峰值、SM 利用率与通信占比。这一步得到的是有效算力，也是唯一能直接对应业务成本的数字。建议至少跑三种配置（单卡、半机、整机），观察扩展效率曲线。

8.5 第五步：折算成本

把有效算力与采购价、电费、机房成本、人力成本结合，算出单位有效算力成本，再与替代方案对比。到这一步，算力评估才真正完成，得出的结论才可用于决策。

回到 H100 GPU 这件事，这类负载最终要落到具体的整机与机房里——天下数据在美国洛杉矶机房提供 CN2 GIA 直连线路，与中国香港节点形成双入口；整机租用与托管可组合，机柜电力与带宽按实际负载定制，账单口径清晰。需要横向比价时，可以索取一份配置单，与本文的选型表放在一起对照。

九、总结

衡量 H100 的计算能力，需要一套分层指标：峰值浮点算力回答"上限有多高"，显存容量与带宽回答"能跑多大的模型、数据供得上吗"，互联带宽回答"多卡能不能协同"，MFU 与利用率回答"实际用出来多少"，能效与单位成本算力回答"值不值"。五个层次缺一不可，任何单点数字都可能误导决策。

对大多数团队，建议把评估重点放在后两层：峰值参数在采购时看一眼即可，真正需要持续关注的是有效算力与成本效率。因为硬件差距是固定的，而利用率差距是可以通过工程优化不断缩小的——这也是同样配置的集群，在不同团队手里产出相差甚远的原因。

如需针对具体模型做 H100 算力评估，或获取整机配置方案与租用报价，可通过天下数据官网（www.idcbest.com）获取方案与报价，并结合实测数据判断配置是否匹配。

【免责声明】：部分内容、图片来源于互联网，如有侵权请联系删除，QQ：228866015