推理专用芯片崛起：从 Etched 到 AI 算力范式转移

AI 产业正在经历一场静默的范式转移。 当我们还在讨论哪个大模型训练得更好时，算力的需求结构已经发生了根本性变化——推理正在超越训练，成为 AI 算力的最大消耗场景。

据 GlobeNewsWire（2026-06-30），Etched 以 50 亿美元估值走出隐身模式，融资 8 亿美元，客户合同超过 10 亿美元。这不是一笔普通的融资——它标志着资本市场首次为「只做推理」的芯片公司给出超级独角兽估值。

与此同时，三星 Q2 营业利润同比增长约 1,181% 至 89.4 万亿韩元（创单季历史新高），其半导体部门贡献了 95% 的利润增量，核心驱动力正是 HBM 和 AI 推理对存储带宽的爆发式需求。这两条线索指向同一个结论：推理不再是训练的附属品，它正在成为独立的、规模更大的算力战场。

这个转变的底层逻辑并不复杂。训练是一次性的——你花几千万美元训练一个模型，训练完就结束了。但推理是持续的——每一次用户提问、每一次 API 调用、每一个 Agent 执行任务，都在消耗推理算力。当 AI 应用从实验走向规模化部署，推理算力的需求增速远超训练。

从产业数据看，这个拐点已经到来。 根据多家云服务商的财报分析，2025 年下半年开始，推理算力收入在部分云厂商的 AI 相关收入中占比已经超过训练算力。这意味着什么？意味着 AI 产业的重心正在从「造出更好的模型」转向「让模型更便宜、更快地服务更多用户」。这是一个根本性的转变——从研发驱动转向运营驱动。从产业生命周期看，这类似于互联网行业从基础设施建设转向应用层爆发的转折点。

Agent 技术的爆发进一步加速了这个趋势。 当一个 AI Agent 执行一个复杂任务时，它可能需要调用数十次甚至上百次推理——规划、工具调用、结果验证、迭代优化。一次 Agent 任务的推理消耗可能是普通对话的 10-50 倍。当企业开始大规模部署 AI Agent 时，推理算力的需求将呈指数级增长。

Etched 做的事情在芯片行业看来近乎疯狂：把所有赌注押在一个模型架构上。 他们的芯片不是通用加速器，而是专门为 Transformer 架构定制的 ASIC（专用集成电路），基于 TSMC N4P 工艺制造。

这种策略的逻辑在于：Transformer 的注意力机制有非常明确的计算模式——大量的矩阵乘法、特定的内存访问模式、可预测的计算图。如果你知道计算模式是固定的，就可以把硬件优化到极致，去掉通用芯片里那些「以防万一」的冗余电路。

专用芯片的核心优势不在于峰值性能，而在于能效比。 通用 GPU 为了支持各种计算模式，需要大量的通用寄存器、复杂的调度逻辑、宽泛的内存接口。而专用芯片可以把这些资源全部省掉，只保留实际需要的计算单元。理论上，同样面积的硅片，专用芯片在特定任务上的能效比可以比通用芯片高 5-10 倍。

但这也意味着巨大的风险。如果 Transformer 架构被某种全新架构取代（比如状态空间模型 Mamba 的变体），Etched 的芯片就失去了存在的意义。这种「架构锁定」是专用芯片公司必须面对的达摩克利斯之剑。

从历史经验看，架构押注既有成功也有失败。 Intel 在 x86 架构上的押注持续了 40 年，创造了万亿美元市值。但 NVIDIA 在 GPU 早期押注图形渲染时，也经历了多次差点破产的危机。Etched 的赌注是否值得，取决于 Transformer 架构的统治力能维持多久。当前来看，Transformer 至少在 3-5 年内仍是主流，但这个窗口期并不长——Etched 必须在这个窗口期内实现大规模商业化，才能为下一代架构的研发争取时间和资金。

另一个关键问题是：专用芯片能否支持模型迭代？ 即使 Transformer 架构不变，模型的具体实现也在快速演进——从稠密 Transformer 到 MoE（混合专家模型），从固定长度上下文到动态上下文。专用芯片的设计必须足够灵活，能够适应这些演进，否则很快就会过时。

推理专用芯片不会取代 GPU，但会重新定义算力的分层结构。 这不是非此即彼的替代关系，而是一种新的算力分层正在形成。

在最顶层，通用 GPU（NVIDIA B200/GB200） 仍然不可替代——它们负责训练、微调、以及需要灵活性的推理场景。当模型架构变化、当新的算子出现、当研究团队需要快速实验时，GPU 的通用性是刚需。

在中间层，推理专用芯片（Etched、Groq 等） 接管大规模、稳定的推理负载。当一个模型已经部署稳定、API 流量可预测、推理模式固定时，把这部分负载从 GPU 迁移到专用芯片，可以节省 60-80% 的算力成本。

在底层，边缘推理芯片处理延迟敏感、数据量小的本地推理任务。手机端的 NPU、车载芯片、IoT 设备上的推理加速器都属于这一层。

这种分层的关键意义在于：AI 算力的商业模式正在从「卖最贵的卡」变成「卖最合适的卡」。 NVIDIA 的垄断地位不是被打破，而是被稀释——它仍然占据最高价值层，但中间层和底层的市场正在被专业化玩家蚕食。

当推理成本成为 AI 公司的最大支出项，硬件选择就不再是技术问题，而是商业生死问题。

让我们算一笔账。假设一个 AI 应用日均处理 1 亿次推理请求，每次请求平均消耗 1000 个 token。使用 NVIDIA H100 集群，每次推理的成本大约是 $0.002。如果换用推理专用芯片，成本可能降到 $0.0004——单次节省 80%，日均节省 $16 万，年化节省近 $6000 万。

这就是为什么 Etched 能拿到 10 亿美元的订单——对于大规模 AI 应用公司来说，推理成本的差异直接决定了毛利率是 20% 还是 80%。

推理成本的重要性还在于它改变了 AI 公司的竞争格局。 当推理成本高企时，只有大公司才能负担得起大规模 AI 部署。当推理成本下降一个数量级，中小公司也能把 AI 功能嵌入产品，AI 应用的渗透率会加速提升。

据 Reuters（2026-07-06）报道，三星 Q2 利润暴增逾 12 倍，核心驱动力就是 AI 推理对 HBM 存储的需求。这从另一个角度印证了推理算力的爆发——不仅是芯片本身，整条供应链（存储、封装、散热）都在被推理需求重塑。

更重要的是，推理成本的下降会催生新的商业模式。 当推理成本足够低时，一些当前不可行的 AI 应用会变得可行。比如：实时视频理解（需要持续处理每秒 30 帧的画面）、大规模个性化推荐（为每个用户维护独立的 AI 模型）、以及全天候 AI 助手（持续监听、理解、并主动提供帮助）。这些应用的共同特点是：需要持续、大量的推理算力。只有当推理成本下降一个数量级，它们才能从概念走向产品。从历史经验看，计算成本的下降总是催生新的应用形态——云计算的普及催生了 SaaS，移动芯片的进步催生了短视频。推理芯片的进步同样会催生当前无法想象的新应用。

这意味着推理芯片的进步不仅仅是降本增效，而是打开了新的市场空间。 这个市场空间的规模可能远超当前的 AI 应用市场——因为它覆盖的是那些「当前太贵而做不了」的场景。

硬件再强，没有软件生态也是废铁。 这是推理专用芯片面临的最大挑战，也是 NVIDIA 最坚固的护城河。

NVIDIA 的 CUDA 生态经过 15 年积累，拥有超过 400 万开发者、数以万计的优化库、以及几乎所有主流 AI 框架的原生支持。任何一家新芯片公司要挑战这个生态，都不是技术问题，而是生态战争。

Etched 的策略是「绕过 CUDA」——直接支持主流推理框架的 API 接口。 如果你的应用用的是 vLLM、TGI 或 TensorRT-LLM 的标准 API，Etched 的编译器可以把计算图直接翻译成专用芯片的指令，不需要用户改代码。

但这种策略有局限性。一旦用户需要自定义算子、使用非标准模型架构、或者做模型微调，就会撞上专用芯片的天花板。此时 CUDA 的通用性优势就会显现。

开源推理栈正在成为打破 CUDA 垄断的关键力量。 vLLM、SGLang、TensorRT-LLM 等开源项目提供了标准化的推理接口，使得应用层不再直接依赖特定硬件的 SDK。RadixArk 开源的 Miles 栈整合了 SGLang + Megatron-LM + Ray，提供了 PyTorch 原生的后训练推理一体化方案。这种标准化趋势对专用芯片公司既是机会（只需适配标准接口）也是威胁（标准制定者可能偏向 GPU）。

这场软件生态博弈的结局可能是「分层兼容」。 在推理层面，开源框架会成为标准接口，专用芯片通过适配这些标准接口获得市场。在训练和实验层面，CUDA 仍然占据主导地位。这意味着开发者需要掌握两套工具链——一套用于开发（CUDA），一套用于部署（开源推理框架 + 专用芯片）。这种分层会降低开发效率，但可能是当前阶段的最优解。

对于企业来说，软件生态的成熟度比硬件性能更重要。 一个性能稍弱但生态完善的芯片方案，往往比一个性能极强但生态薄弱的方案更有商业价值。因为迁移成本、调试成本、以及人才招聘难度，都会显著影响总拥有成本。

推理芯片赛道正在变得拥挤，但真正的玩家屈指可数。 让我们梳理一下当前的竞争格局。

Etched 是目前声量最大的挑战者。50 亿美元估值、10 亿美元订单、TSMC N4P 工艺——这些数字说明资本市场和大客户都在押注。但 Etched 的产品尚未大规模交付，实际性能和稳定性还需要验证。

Groq 是另一条技术路线。他们的 LPU（语言处理单元）采用确定性计算架构，强调超低延迟而非吞吐量。Groq 的芯片已经在部分场景实现了比 GPU 快 10 倍的推理速度，但产能受限和软件生态薄弱是明显短板。

Google TPU 虽然不是独立公司，但 Google 自研的 TPU v5e 专门针对推理场景优化，在自家 Gemini API 的部署中已经证明了专用芯片的可行性。Google 的策略是「自研自用」，不直接参与芯片市场竞争，但它的存在对 NVIDIA 的定价权构成制约。

AMD 通过 MI300X 切入推理市场，策略是「性价比替代」。AMD 不追求性能领先，而是用更低的价格提供够用的推理性能。对于成本敏感的大规模部署场景，AMD 是一个务实的选择。

NVIDIA 自身也在调整策略。GB200 NVL72 的设计重点已经从训练转向推理，说明 NVIDIA 清楚知道推理市场的优先级正在超过训练。NVIDIA 的应对策略是「用更强大的 GPU 让专用芯片失去性价比优势」——这是一场技术军备竞赛。NVIDIA 的核心优势在于：它不仅能提供硬件，还能提供完整的软件栈（CUDA + TensorRT + Triton），这是任何专用芯片公司都无法复制的。如果 NVIDIA 能在下一代产品中大幅优化推理能效比，专用芯片公司的性价比优势可能会迅速消失。

这场竞争的关键变量是「时间窗口」。 专用芯片公司需要在 NVIDIA 反应过来之前建立足够的市场份额和客户粘性。如果 Etched、Groq 等公司能在 2026-2027 年证明其产品的可靠性，就能获得宝贵的客户基础和行业声誉。但如果 NVIDIA 的推理优化产品先一步成熟，专用芯片公司可能会失去先发优势。

另一个值得关注的玩家是云厂商的自研芯片。 AWS 的 Inferentia、Google 的 TPU、Azure 的 Athena——这些云厂商自研的推理芯片虽然不对外销售，但会影响云市场的算力定价和供给结构。如果云厂商大规模使用自研推理芯片，第三方专用芯片公司的市场空间可能会被压缩。

推理专用芯片的崛起不仅仅是硬件变革，它正在重塑 AI 产业的商业模式。

对云服务商来说，推理芯片意味着可以按场景提供差异化的算力实例。AWS、Azure、GCP 可能会推出「推理优化实例」，价格比通用 GPU 实例低 50-70%，但只适合特定类型的推理负载。这会进一步扩大云市场的细分程度。

对 AI 应用公司来说，推理成本下降是重大利好。当前很多 AI 应用的毛利率受限于推理成本——每赚 1 美元收入，可能要花 0.4-0.6 美元在推理上。如果推理成本降低 60-80%，毛利率可以提升到 70-80%，这会释放大量商业空间。

对模型公司来说，推理芯片的影响是双面的。一方面，推理成本降低意味着模型可以被更广泛地部署，用户基数扩大。另一方面，推理芯片公司可能会要求模型公司针对特定硬件做优化，这会引入新的依赖关系。模型公司需要在「广泛部署」和「深度优化」之间做出选择——前者追求覆盖面，后者追求性能极致。

对开发者来说，短期内影响有限——大多数开发者仍然在 GPU 上开发和实验。但长期来看，推理部署的硬件选择会成为一个新的技能领域，「推理优化工程师」可能成为热门岗位。这个岗位的核心技能不是写模型代码，而是理解不同硬件的特性、优化推理计算图、以及设计混合部署策略。随着推理芯片的普及，这类专业人才的需求会快速增长。

据 TechCrunch（2026-06-29）报道，Base44 发布自研模型 Base1，ARR 达 1.5 亿美元。这类 AI 应用公司的快速增长，正在放大推理算力的需求规模，间接推动了推理专用芯片的市场空间。

更深层次的影响在于产业权力结构的变化。 当推理成本高昂时，掌握算力资源的云厂商和芯片公司占据产业链的核心位置。当推理成本大幅下降时，权力会向应用层转移——因为算力不再是稀缺资源，用户和数据成为新的稀缺资源。这可能重塑 AI 产业的利润分配格局。

对于投资者来说，推理芯片赛道既是机会也是风险。 机会在于市场空间巨大——如果推理成本真的下降 60-80%，会催生大量新的 AI 应用。风险在于技术路线的不确定性——专用芯片能否在 2026-2027 年证明其商业价值，将决定整个赛道的走向。对于创业者来说，现在是进入推理优化领域的好时机——无论是做推理引擎、部署工具、还是成本监控服务，都有机会在推理算力爆发的浪潮中找到自己的位置。

基于当前产业动态，我们对推理专用芯片赛道做出以下三个预判。

预判一：2026 Q4，Etched 将完成首批大规模交付，实际性能数据公开。 这是专用推理芯片赛道的「证伪时刻」——如果 Etched 的芯片在实际生产环境中达到或接近宣传的 5-10x 能效比，会触发一波大规模采购；如果表现不及预期，整个赛道会进入冷却期。

预判二：2027 Q1，至少两家云服务商推出「推理优化实例」。 AWS 和 Azure 最有可能率先推出基于 Etched 或类似专用芯片的推理实例。这标志着推理芯片从「创业公司玩具」变成「主流基础设施」。

预判三：2027 年中，NVIDIA 将发布专门的推理优化产品线（非 GPU 迭代），直接回应专用芯片挑战。 NVIDIA 不会坐视推理市场被蚕食，最可能的应对是推出类似 Groq 的低延迟推理专用产品，同时用软件生态优势绑定客户。

这三个预判的交汇点是：2027 年将成为推理算力的「分化之年」。 GPU 仍然占据训练和高端推理市场，但中低端推理市场将被专用芯片大幅渗透。推理算力的总成本将下降 40-60%，这将释放新一波 AI 应用的商业化浪潮。

对于技术决策者来说，现在需要做的不是立即切换硬件，而是开始建立推理负载的可观测性——搞清楚你的推理请求分布、延迟要求、成本结构。当专用芯片成熟时，能快速评估迁移可行性的公司，将率先享受降本红利。同时，关注开源推理生态的演进方向——vLLM、SGLang 等项目的标准化程度，直接决定了未来硬件迁移的难易程度。选择标准化程度高的推理栈，是降低未来迁移风险的最佳策略。