AI 推理芯片的第二战场：成本、渠道与开发者锁定

开场：账单在推理端

一个模型训练完成的那天，团队通常会庆祝。但真正开始花钱的时刻，是它上线之后。用户每问一句，后台就要跑一次前向计算。调用量从几百涨到几百万，账单的形状就变了。训练像买房，一次性掏一大笔；推理像水电，每个月都来，而且随着用户增长一直涨。很多团队第一次认真看推理账单，都是在产品有了真实流量之后。

于是过去两年，芯片厂商讲故事的重心在往推理端挪。训练决定谁能做出最强的模型，推理决定谁能靠模型赚到钱。这两件事对硬件的要求不一样。训练要的是大规模并行、稳定的互联和长时间不中断；推理要的是低延迟、高吞吐，以及一件更朴素的事：每个 token 花多少钱。

今天这场竞争，表面看是芯片算力，实际争的是三样东西。第一，每单位成本能交付多少推理服务。第二，云厂商愿不愿意把这张芯片放进自己的货架。第三，开发者愿不愿意把模型、工具链和团队经验押在它上面。算力只是入场券，后面两样才决定能待多久。

先给一个可验证的问题：在同样的模型、同样的输入输出长度、同样的延迟目标和精度下，哪一家的每百万 token 成本更低？这个问题听起来简单，公开材料却给不出干净的答案。因为各家拿出来的数字，测试条件几乎都不一样。

反解释也先摆出来。专用芯片在适配良好的负载上，确实可能拿到能效和价格优势。但模型结构在变，软件栈在变，流量利用率在波动，迁移还要付出工程代价。理论效率优势有可能兑现不了。如果通用 GPU 的软件优化继续进步，通用路线可能长期更划算。

为什么这件事值得单独讲一期？因为推理是 AI 商业化里最像制造业的一环。它有产能、有良率、有利用率、有折旧，也有渠道加价。谁把这些环节压得更紧，谁就能在价格上主动。芯片只是最容易被看见的那一层。

Google：把芯片藏进云栈

Google 是最早把这件事做成自家基础设施的公司。2016 年，Google 公开介绍张量处理单元，也就是 TPU。名字里的张量，指的是神经网络里大量矩阵运算的数据形态。它不是一颗什么都干的通用处理器，而是为这类运算专门设计的加速器。这个选择在当时并不主流，因为通用性意味着更宽的用途，专用性意味着更高的效率上限。

2017 年，Google 研究团队发表数据中心 TPU 的论文，把它的推理表现和同期的 CPU、GPU 放在一起评估。这篇论文经常被引用，因为它给出了少见的公开测试细节，包括工作负载构成和性能对比。读这篇论文要注意时间坐标：它测的是早期硬件和早期模型，跟今天的大语言模型推理不是一回事。

真正把 TPU 推向推理定位的，是 2025 年 4 月发布的第七代产品，代号 Ironwood。Google 称它是第一款专为推理设计的 TPU，并计划在当年晚些时候提供。官方同时宣传了一个规模数字：最多可以把 9216 颗芯片通过自家的 ICI 网络连起来。ICI 可以理解成芯片之间的专用高速通道，负责让成千上万颗芯片像一台机器一样协同。

这些是 Google 对产品设计和规模能力的描述，属于厂商说法。更值得琢磨的是卖法。Google Cloud 把 Ironwood 和 AI Hypercomputer、Pathways、TPU 上的 vLLM，以及 GKE 的推理工具放在一起介绍。翻成人话：它卖的是一整套从调度、训练到部署的云上方案，芯片只是这套方案里的一个部件。

这就是渠道和锁定的第一层。客户用了 TPU，实际用的是 Google Cloud 的机房、网络、调度系统和工具链。搬进来很顺，搬出去要重做。对 Google 来说，这比单卖硬件稳得多，因为收入跟着工作负载走，而不是跟着一次采购走。

专用芯片还有一层隐性收益：它让云厂商可以按自己的节奏迭代。不用等外部供应商的路线图，不用在公开市场上抢货，也不用把毛利分给芯片厂。代价是研发投入要自己扛，而且只在自家云里摊得开。这就是为什么这条路只有超大规模云厂商走得通。

AWS：用云服务打包芯片

AWS 走的是另一条路，但底层逻辑相似。2023 年，AWS 宣布 Trainium2，说设计目标包括改善训练大模型的性价比，并称其预计训练性能最高可以达到第一代 Trainium 的四倍。注意这里的措辞：这是发布时的目标声明，不是第三方测出来的结果，而且讲的是训练。不是推理。

Trainium 的销售方式和 EC2、UltraClusters 这些 AWS 服务绑在一起。客户不用自己买机器、建集群、搭网络，直接在云上开实例。芯片的命运因此和云平台的客户关系绑在一起。AWS 的客户基数越大，自研芯片的研发成本就摊得越薄，实例价格也越有腾挪空间。

自研芯片对云厂商有一个天然优势：它可以把省下来的毛利，变成更有竞争力的实例价格，也可以直接变成利润。这条路径不需要在公开市场上和 NVIDIA 正面拼单品销量，只需要让自己的客户在迁移成本最低的地方做选择。

但绑定也有代价。客户一旦用了 Trainium，软件栈就落在 AWS 的 Neuron 上。Neuron 是 AWS 为自研芯片提供的开发工具链，负责把主流框架的模型编译到自家硬件。它省掉了客户自己适配的麻烦，也把客户留在了 AWS 的边界里。

所以 AWS 的策略可以概括成一句话：用云服务打包芯片，用芯片改善云的经济性。它不需要在每一次芯片对比里赢，只需要让自己的推理实例在价格和可用性上足够有吸引力。客户在自家平台里比较，赢家都是平台。

AMD：借货架，做第二供应商

AMD 的位置完全不一样。它没有自己的大云，所以必须借别人的渠道。2024 年 5 月，AMD 宣布 MI300X 加速器用于 Microsoft Azure 的 ND MI300X V5 虚拟机，并且这套硬件和 ROCm 软件被用于 Azure AI 的生产负载，包括 Azure OpenAI Service。这条公告的分量在于生产负载四个字，它说明的不只是能跑，而是已经在承载对外服务。

ROCm 是 AMD 的软件栈，作用类似 NVIDIA 的 CUDA，负责让开发者的框架和模型在它的芯片上跑起来。软件栈这件事，做出来不难，做到让别人愿意把生产系统放上去很难。AMD 这几年最花力气的，就是补这一块。

2024 年 9 月，AMD 又宣布 Oracle Cloud Infrastructure 采用 MI300X 和 ROCm，提供可扩展的裸金属实例，公告说这个超级集群最高可以连接 16384 张 GPU。裸金属的意思是客户直接拿到整台物理机，不用和别人共享虚拟化层，适合对性能和隔离要求高的推理集群。

这些公告证明的是渠道和产品部署。把它们读成单位成本更低，就过头了。但它们说明了一件事：AMD 的打法是做多云的第二供应商。对云厂商来说，多一个供应商就多一分议价能力；对开发者来说，多一个选项就少一分被单一生态绑死的风险。

第二供应商这个位置，商业上并不性感，但很实在。它不需要拿下整个市场，只需要在每一笔大采购里被放进比较名单。只要客户说一句再问问 AMD 的报价，定价权就松动了一点。

NVIDIA：通用性与生态的复利

NVIDIA 的护城河不在单颗芯片。它把 GPU、互连、整机系统和软件一起卖。CUDA 是它最深的墙：十几年的库、框架适配、调优经验和人才储备，都堆在这上面。开发者写模型的时候，很多默认路径就是为 NVIDIA 优化的，换一个平台，第一件事往往是找对应的算子实现。

NVIDIA 官方博客发布过 Blackwell 上的成本与吞吐比较，标题直接讲每 token 成本。这些数字来自 NVIDIA 自己，用的是它指定的配置和基准条件。把它当成厂商主张更合适。跨厂商的独立结论，需要中立的测试条件，而这类材料一直很少。

但厂商主张也有信息量。它说明 NVIDIA 清楚战场已经转到每 token 成本，而不是单纯比峰值算力。当行业老大开始用成本叙事做营销，说明价格压力是真实的。真正的挑战者不需要在发布会上赢，只需要让客户在续约时多问一句。

NVIDIA 的另一层优势是覆盖面。它通过几乎所有主流云厂商卖卡，客户可以在不同云之间搬。这种可搬性本身就是价值，尤其对那些不愿把全部负载押在一家云上的公司。AMD 想抢的，正是这部分既要性能又要选择权的客户。

软件：统一接口，碎片性能

软件层是这场竞争最容易被低估的部分。vLLM 是一个流行的推理服务框架，它的公开文档列出了对 NVIDIA CUDA、AMD ROCm、AWS Neuron 和 Google Cloud TPU 等平台的支持。一个框架能跑在四种硬件上，听起来像是硬件壁垒被抹平了。

实际情况要细一些。列入支持平台，和每个模型、每种量化方式、每种并行策略都同等成熟，是两件事。有的平台跑通一个演示很容易，跑到生产级的吞吐和稳定性，是另一段路。中间差的是内核优化、算子覆盖、故障排查和版本跟进。

对开发者来说，真正的成本不是第一次跑通，而是长期维护。模型升级要重新调，内核要重新写，出错要有人支持，性能回退了要有人定位。这些隐形成本不会出现在芯片的规格表里，却会出现在团队的工时表里。

所以可移植性要分两层看。接口层越来越统一，大家都能接同一套框架；性能层依然碎片化，每家硬件的最佳实践不一样。接口统一降低了试错成本，性能碎片化保留了厂商的差异化空间。

这也是为什么软件生态的领先很难被单点突破。它不是一项技术，而是一张网：文档、教程、开源项目、问答社区、第三方工具、招聘市场上的人。这张网越密，迁移的摩擦越大。

成本：六层结构

要比较推理成本，得先把成本拆开。第一层是芯片本身，采购价或者云上的实例单价。第二层是内存带宽和高带宽内存的供给。推理是内存密集型任务，很多时候卡在搬数据，不是卡在算。带宽不够，算力再高也喂不饱。

第三层是互连和集群网络。单卡推理和千卡推理是两种生意。大规模服务时，芯片之间的通信、请求的路由、缓存的命中，都会吃掉大量时间。网络设计不好，集群规模越大，效率掉得越快。

第四层是利用率。同一张卡，跑满和跑三成，单位成本差好几倍。云厂商卖的是时间，客户买的是吞吐，中间的差额就是浪费。谁能把批处理、调度和弹性做得好，谁就能在同样的硬件上多榨出利润。

第五层是软件效率。批处理、量化、KV 缓存管理，这些工程手段对成本的影响，有时比换一代硬件还大。KV 缓存可以理解成模型在生成每个字时保存的上下文记忆，管得好能显著减少重复计算。

第六层是折旧和电力。云厂商怎么摊薄设备成本，机房放在电价便宜的地方还是贵的地方，直接决定报价。这些变量客户看不见，但它们真实地存在于每一张账单里。

所以任何单点的芯片对比，都容易失真。厂商可以选对自己有利的模型、序列长度、批量大小和精度。把这些条件固定住，才有可比性。这也是为什么公开材料里，很难找到一个四家同口径的排名。

渠道与锁定：慢变量决定格局

渠道这件事，比芯片更难改变。Google 和 AWS 是把自己的芯片放进自己的云，卖的是整体服务。NVIDIA 是通过所有云厂商卖，覆盖面最广。AMD 是借 Microsoft 和 Oracle 的渠道进场，先拿到大客户的生产负载。四种位置，四种议价方式。

开发者锁定则是慢变量。一个团队一旦把训练和推理管线建在某个栈上，迁移的阻力来自代码、工具、监控、值班经验和招聘。这些不会因为对手便宜两成就立刻改变。价格战能抢到新客户，很难一夜之间搬走老客户。

反过来说，如果推理成本在总支出里的占比越来越高，迁移的经济诱国会变强。当省下来的钱足够覆盖重写和重建的工程成本，锁定就会松动。这个临界点在哪里，取决于模型规模、调用量，以及业务对延迟的敏感程度。

还有一个容易被忽略的锁定来源：采购流程。大公司换供应商要走测试、合规、安全审查和预算周期。这些流程本身就是成本。芯片便宜两成，流程要多走半年，很多项目就算不过账。

判断：分层而不是通吃

我的判断是，这场竞争不会出现一个赢家通吃的结局。更可能的格局是分层。超大规模云厂商用自研芯片，吃掉自己平台上标准化程度最高的那部分推理负载；NVIDIA 守住通用性和生态最复杂的部分；AMD 拿到对成本敏感、又想要第二供应商的客户。

专用芯片的优势，集中在负载稳定、模型固定、规模足够大的场景。比如一个长期服务的对话产品，模型版本几个月才换一次，流量可预测，这种负载最适合把硬件压到极限。反过来，模型每周都在试新的团队，通用 GPU 的灵活性更值钱。

这也解释了为什么云厂商都在同时押注。Google 既卖 TPU 也卖 NVIDIA GPU，AWS 既推 Trainium 也提供 GPU 实例。它们不赌单一路线，而是让客户在自己的平台内选择。真正的赢家是平台，不是某一种芯片。

对芯片厂商来说，这意味着竞争目标变了。过去比的是峰值算力，现在比的是在自己的渠道里，能不能把每 token 成本压到对手之下。这个指标不只看硬件，还看软件、调度、利用率和定价策略。

对使用模型的公司来说，结论更实际。选硬件的时候，不要只看跑分，要看自己的负载形态：模型多久换一次，流量稳不稳，延迟要求多严，团队有没有能力维护两套栈。这些问题的答案，比任何一张对比图都重要。

边界与观察点

需要说清楚边界。公开可查的材料，主要是产品公告和厂商博客。它们能证明产品存在、渠道落地、目标声明，证明不了在统一条件下的成本排名。完整系统采购成本、先进封装和高带宽内存的供应约束、集群利用率，都还缺同口径的数据。

下一步的核心观察点，我列几个具体的。第一，有没有第三方在相同模型、相同输入输出长度、相同延迟目标和精度下，公布四家的每百万 token 成本。这个数字一旦出现，行业叙事会立刻重排。

第二，各家外部客户的生产推理部署规模、利用率和故障率，有没有可核对的数字。公告里的客户名字不等于规模，规模要靠财报、技术博客或者第三方调研来印证。

第三，先进封装、高带宽内存、网络和电力，分别怎么影响交付周期和系统成本。推理芯片的瓶颈经常不在设计，而在产能。谁拿得到封装和高带宽内存，谁就能按时交货。

第四，开发者从 CUDA 迁到 TPU、Neuron 或 ROCm，实际要花多少工程周期，维护成本怎么变。这个数据很难公开，但它是锁定强度最真实的度量。

第五，推理服务价格下降里，有多少来自芯片效率，多少来自软件优化、量化、批处理和竞争性定价。分不清来源，就容易把促销当成趋势。

还有一个反假设要一直盯着。如果模型结构继续快速变化，专用芯片为某一类运算做的优化，可能很快过时。如果利用率长期上不去，理论上的能效优势就兑现不了。这两件事只要发生一件，专用路线的成本故事就要重算。

结论

回到开头那个账单。推理成本是一整套系统的结果：硬件、内存、网络、软件、利用率和云厂商的定价策略，环环相扣。谁能在自己的渠道里，把这套系统压到最低的单位成本，谁就能拿到下一阶段的份额。这句话对四家都成立，只是各自的路径不同。

对使用模型的人来说，价格会继续降，但降价的方式会不一样。有的降在芯片效率上，有的降在云厂商的补贴上，有的降在软件优化上。看懂降价的来源，才能判断它是暂时的促销，还是结构性的变化。

这场第二战场，打的是成本，争的是渠道，最后锁的是开发者。芯片只是最容易被看见的那一层。