01 触发事件

2026 年 5 月 18 日，在 Bloomberg Technology 于拉斯维加斯 Dell World 场边采访中，Nvidia CEO Jensen Huang 和 Dell CEO Michael Dell 讨论当前供应链最大约束；Huang 的核心表述是：memory 的需求增速正在超过 capacity。

这不是一句泛泛而谈的“供应链吃紧”。

这是 Nvidia CEO 在公开场合把 AI 基建的主瓶颈，明确从“有没有 GPU”进一步推向“有没有足够的 memory subsystem”。我没在内部跑过 Nvidia 的整机交付数据，所以不能把这句话解读成某一代 HBM 已经绝对断供；但即便按最保守理解，这也是一个足够强的供给侧信号。

空白引用如下

memory demand is outpacing capacity

问题不在于黄仁勋又说了一次需求很旺。

问题在于，他点名的是 memory，而不是 GPU die、不是 networking、也不是 power。

02 这事的真正含义

这才是 Nvidia 在说的事：AI 计算正在从 compute-bound 叙事，转向 memory-bound 现实。

训练阶段当然仍然吃 FLOPS，但今天真正吞噬行业预算、决定产品体验和毛利结构的，越来越是 inference。而 inference 的很多痛点，本来就不是纯算力问题，而是 KV cache、模型参数装载、batching 效率、context window 膨胀、MoE 路由开销 这些 memory 侧约束。

换句话说，市场过去两年争抢的是“GPU 数量”；接下来真正会被定价的是“每单位 memory 可转化成多少稳定 token throughput”。

这背后至少有三层含义。

第一，大 context window 的成本神话会被继续拆穿。

模型厂商喜欢宣传 1M、2M context，但 builder 真正关心的是，在高并发场景下，这些长上下文会怎样挤压 KV cache，怎样拉低吞吐，怎样推高 tail latency。context window 不是白送能力，它是 memory 占用权。只要 memory 比 compute 更稀缺，长上下文就不会是普惠品，而是分层定价品。我没拿到各家最新 serving profile，这里可能高估了极长上下文的占比，但方向很难错。

第二，MoE 的商业价值会被重新审视。

很多人把 MoE 看成“更省训练成本”或者“更容易把参数堆大”。但在 inference 里，MoE 的真正价值之一，是在不线性拉升 active compute 的情况下扩展能力边界。不过 MoE 也不是免费午餐：参数驻留、路由、跨卡通信、hot expert 不均衡，都会把压力重新甩回 memory 和 interconnect。也就是说，MoE 不是绕开瓶颈，而是把瓶颈换了形态。

第三，AI infra 的 moat 正从“拿卡能力”转向“系统级 memory orchestration”。

谁能做更好的 KV cache 管理、prefix reuse、prompt caching、paged attention、跨请求复用、冷热分层存储，谁就能在同样 GPU 名义配置下，吐出更多 billable tokens。这个差距不会永远停留在 benchmark 上，它最终会体现在 API 定价、SLA、以及 routing 层的真实套利空间里。

所以，Huang 这句话不是供应链八卦。

它是在提醒市场：下一轮竞争，不是买到 GPU 就结束，而是你能否把 memory 变成收入。

03 历史类比 / 结构对照

这件事更像 2014 年前后的 AWS，而不像 2022 年的 ChatGPT。

2022 年的主叙事是需求爆发：用户突然出现，模型突然可用，行业开始相信生成式 AI 是真的。那是“产品奇点”时刻。

但 Huang 这次说 memory capacity，不是产品奇点，而是基础设施约束显形。这更接近 AWS 早期那个关键认知转变：企业买的不是服务器 CPU 主频，而是可弹性调用、可计费、可运维的基础设施单元。今天 AI 市场也在发生同样的抽象迁移——用户买的不是 GPU TFLOPS，而是稳定、低延迟、可预测价格的 token 服务。

如果一定找一个更尖锐的类比，我会拿 2007 年 iPhone 之后移动互联网的演进来对照。很多人以为决定体验的是芯片频率，后来发现真正卡住用户体验的是电池、带宽、应用分发、触控交互这些“非主芯片指标”。AI 现在也一样：决定产品成败的，未必是 headline benchmark，而是 memory bandwidth、KV cache 命中率、cold start、queueing、request mix 这些看起来不性感但直接决定单位经济模型的东西。

这也是为什么云厂商、模型厂商、API 聚合层的利益正在重新对齐又重新冲突。

  • 云厂商希望把 memory scarcity 包装成更高附加值实例
  • 模型厂商希望通过架构和 serving 优化把 memory 压力内生化
  • API 网关和 routing 层则希望把不同模型、不同 provider 的 memory 利用率差异转成价格套利

我没看到这次 Bloomberg 采访的完整逐字稿，因此不能断言 Huang 是在为某一代 HBM 供给提前铺垫，还是在为整机 ASP 继续上行建立叙事基础。但从结构上看，这就是一次“瓶颈迁移”的公开确认。

而瓶颈一旦迁移，价值链利润池也会迁移。

04 对 AI builder 意味着什么

如果我今天是 AI builder、模型 API 消费者，或者在带一个 agent 产品团队，这周和这个月会改四件事。

第一，重新审计 context 使用，而不是继续默认越长越好。

把请求按任务拆成三类：必须长上下文、可检索替代、可摘要压缩。长 context 未来大概率继续存在，但会越来越贵，或者以更隐蔽的方式贵——比如限速、tail latency、缓存不稳定，而不只是明面上的 input token 单价。别把“模型支持 1M context”当作“你的业务应该用 1M context”。

第二，把 prompt caching 和 prefix reuse 从优化项升级为产品主路径。

很多团队还把 caching 当 infra 团队的边角料，这会吃亏。memory 受限时代，能复用的前缀就是利润。尤其是 system prompt 很长、工具 schema 很重、MCP 描述冗长、agent loop 固定模板明显的场景，缓存命中率直接决定 gross margin。我没看到你们的真实流量分布，这里可能低估了用户输入异质性，但对多数 B2B agent 产品，这几乎一定值得立项。

第三，在 model routing 上从“按能力切”改成“按 memory profile 切”。

不是所有请求都该走同一个长上下文旗舰模型。摘要、提取、重写、分类、低步数 tool call，这些任务可能更适合小模型或更低 memory footprint 的模型。真正聪明的 routing，不只是 benchmark routing，而是 latency x price x memory pressure 联合优化。接下来 token 网关层的价值，也会更多体现于此。

第四，采购和容量规划不要只问 GPU 数，开始问 HBM、带宽、实例可得性和 queue 行为。

如果你是大客户，和 provider 谈 SLA 时要问清楚：

  • 长上下文请求在高峰期是否降速
  • prompt caching 命中策略是否稳定
  • batch API 是否与在线流量抢 memory
  • 模型切换时 warm pool 多久建立
  • KV cache 是否跨会话或跨相同前缀复用

这些问题比“你们有多少 GPU”更接近业务现实。

简化成一句话：builder 该优化的对象，不再只是 token 单价，而是每次用户任务消耗掉多少稀缺 memory budget。

05 反方观点 / 风险

我可能错在三个地方。

第一，这可能只是经典的供给叙事管理。

Nvidia 历来擅长把行业约束讲成系统性短缺，这既真实，也有商业叙事成分。Huang 强调 memory，完全可能是在为更高 ASP、更强整机绑定销售、或者下一代平台升级预热。若真实约束只是短期 HBM 产能错配，而不是长期 architecture-level 瓶颈，那今天把 memory 看成新中心，可能会过度解读。

第二，software 可能比我预期更快吃掉这层瓶颈。

paged attention、KV cache 压缩、speculative decoding、更激进的 quantization、prefix dedup、甚至新的 state-space 或 hybrid architecture，都可能显著缓解 memory 压力。如果未来模型在保持质量的前提下大幅减少 KV cache 占用，那今天关于 context 定价和 throughput 重估的判断，会被部分削弱。我没在内部评估这些优化在生产环境的大规模副作用，这里确实可能误判速度。

第三，真正稀缺的可能不是 memory 本身，而是端到端系统协调能力。

HBM 不够听上去像是上游问题，但对多数 builder 来说，买不到 HBM 不是直接问题，买不到稳定服务才是问题。也就是说，最终赢家未必是 memory 资源最多的人，而是能把 compute、memory、network、scheduler、cache policy 一起调好的 provider。若是这样，本文重点就该从“memory scarcity”进一步上移到“serving operating system”。

但即便如此，我还是会保留核心判断：AI 基建的竞争变量已经变了。

过去两年最稀缺的是训练级 GPU。

接下来两年，更值得盯住的是 inference 场景里的 memory 利用率，以及谁能把这种利用率转成更低价格、更稳延迟、更高可用性的 token 服务。

那个真正会被定价的，不是纸面算力。

而是有效输出。