利用Blackwell产品本地部署AI算力 Token成本降低35倍，无与伦比的性能和最佳整体效率决方案
凭借 NVIDIA 全栈推理掌握 AI Token 经济学
AI 推理 — 通过聊天机器人、copilot 和创意工具体验 AI — 正在以双倍指数级的速度扩展。在智能体工作流、长推理思考以及混合专家模型 (MoE) 的推动下，每次交互生成的 AI token 数量急剧增加，同时，用户采用率也持续攀升。
为了实现如此大规模的推理，NVIDIA 每年都会提供数据中心级架构。我们卓越的硬件和软件协同设计实现了性能数量级的飞跃，并持续降低 token 成本，从而使先进的 AI 体验在规模化应用中具有经济可行性。
NVIDIA Grace Blackwell Ultra 机架级系统架构的高性能计算平台每瓦 token 数是 Hopper™ 的 50 倍，成本降低了 35 倍，从而在相同的功率预算内更大限度地提高收益，提高利润空间。持续软件优化可在芯片、机架和数据中心规模上实现更高性能，随着时间的推移进一步提高投资回报率。
推理性能降低 token 成本
降低 token 成本的因素有哪些？
许多企业在评估人工智能基础设施时，往往只关注分子项：单块显卡每小时的使用成本。如果是云部署，这是支付给云提供商的小时费率；如果是本地部署，这是摊销自有基础设施而得出的有效小时成本。降低 token 成本的真正关键在于分母：最大化已交付的 token 输出。
而这个分母指标具备两个业务层面的含义。
1. 降低 token 成本：token 输出量提升后，结合成本计算公式来看，单位 token 成本随之下降，进而提高每一次交互服务的利润率。
2. 提升收益：每秒处理的 token 数量越多，每兆瓦能耗对应的 token 处理量也就越高。这意味着基于这套基础设施，AI 赋能产品与服务能承载更强的智能能力，在投入不变的情况下创造更多收益。
单位 token 的成本是 AI 基础设施 TCO 的密钥指标
仅计算成本就显示，NVIDIA Blackwell 平台的成本似乎比 NVIDIA Hopper™ 高出 2 倍，但计算成本无法说明投资带来的产出。仅从每美元所能提供的浮点运算能力来看，与 NVIDIA Hopper 体系架构相比，NVIDIA Blackwell 具有 2 倍的优势。
然而，实际结果却存在几个数量级的差异：NVIDIA Blackwell 的每兆瓦 token 输出比 Hopper 高 50 倍以上，每百万 token 的成本降低近 35 倍。
| 指标 | NVIDIA Hopper |
NVIDIA Blackwell |
NVIDIA Blackwell 相较于 Hopper |
| 每 GPU 每小时的成本 ($) | $1.41 | $2.65 | 2 倍 |
| 每美元 FLOPS (PFLOPS) | 2.8 | 5.6 | 2 倍 |
| 每 GPU 每秒 token 数 | 90 | 6,000 | 65 倍 |
| 每兆瓦每秒 token 数 | 54K | 2.8M | 50 倍 |
| 每百万 token 成本 ($) | $4.20 | $0.12 | 降低至 1/35 |
平台
极致的硬件软件协同设计
强大的硬件若缺乏智能编排，便会浪费潜能；优秀的软件若没有高速硬件支撑，只会带来迟缓的推理性能。
NVIDIA 推理平台提供持续优化的全栈解决方案，通过协同设计的计算、网络、存储与软件，可在各种工作负载中实现更高性能。
探索一些关键的 NVIDIA 硬件和软件创新。
解析性能帕累托最优曲线
您是否想过复杂的 AI 权衡如何转化为实际成果？探索下方性能曲线中的不同点，亲身体验硬件和软件协同设计如何助力 NVIDIA Blackwell Ultra 成为性能卓越、高效且盈利能力卓越的选择。
DeepSeek R1 ISL = 32K, OSL = 8K，在 GB300 NVL72 上使用 FP4 和 Dynamo 做 P/D 分离部署。 在 H100 上使用 FP8 实时批处理 (in-flight batching)。 该数据仅作为技术探讨和参考使用，上述推理性能将随实际的生产环境而改变。
想知道不同配置如何影响真实的用户体验？ 您可独立调整参数观察曲线变化，或跟随 TJ 的交互式引导，右侧模拟对话区域将实时呈现效果差异。
随着人工智能从一次性答案转向复杂推理，推理的需求——以及背后的经济学——正在爆炸式增长。
新的独立InferenceMAX v1基准测试是首个在真实世界场景下衡量计算总成本的基准测试。结果呢？NVIDIA Blackwell平台横扫市场，为AI工厂带来了无与伦比的性能和最佳整体效率。
