马斯克力荐谷歌TPU v8训练效率提升数倍推理成本大降

随着人工智能对计算能力的需求持续爆发式增长，专用AI芯片的战略价值正被全球科技界重新评估。谷歌最新发布的第八代TPU（张量处理单元），为这一趋势提供了极具说服力的例证。

专为智能体（Agent）时代打造的这代TPU，其战略意图非常清晰：在“训练与推理分离”的技术路径上，谷歌比英伟达走得更远，直接推出了两款物理架构完全不同的专用芯片。

面向大模型训练的TPU 8t，整体计算性能据称是上一代Ironwood的近三倍，能将千亿参数大模型的训练周期从数月大幅压缩至数周。而专攻AI推理任务的TPU 8i，核心目标则是在成本不变的前提下，将在线服务吞吐能力提升近一倍。

能效比是谷歌的另一大发力点。采用第四代液冷散热技术后，第八代TPU的每瓦性能比前代提升了近两倍。当计算性能和能源效率这两个关键瓶颈被同步突破，智能体的大规模、低成本商业化落地才真正具备了坚实的硬件基础。这也难怪新品发布后，行业观察家给出了“真正能带来变革的硬件升级”的高度评价。

资本市场的反应最为直接。发布会后，谷歌母公司Alphabet的股价盘中最高涨幅达到2.2%，显示出投资者对谷歌AI芯片技术路线的初步认可。

预计这两款高性能AI芯片将在今年晚些时候正式上市供货。

Gemini参与设计，两款芯片技术细节曝光

一个值得关注的细节是，第八代TPU的开发有谷歌大模型Gemini的参与。尽管官方未透露具体环节，但博客中确实出现了“共同设计”的表述。这款凝聚了“人机协同智慧”的AI芯片，最终朝着训练和推理两个方向极致演进，诞生了架构迥异的8t与8i。

首先看专攻模型训练的TPU 8t。与上一代相比，它在集群规模、算力利用率和系统稳定性上进行了全面升级。其超级芯片组可扩展至9600个芯片，配备2PB共享高带宽内存，芯片间互联带宽翻倍，总算力高达121 ExaFlops，支持大模型在统一的内存池中直接运行。存储访问速度提升10倍，结合TPU Direct数据直连技术，旨在最大化训练时的算力利用率。通过Virgo网络、JAX框架和Pathways软件栈，实现了近乎线性的扩展能力，单一逻辑集群可延伸至百万芯片规模。在稳定性方面，通过实时遥测、自动故障链路绕过和光路交换等先进机制，即使在超大规模集群下，有效训练吞吐目标仍可维持在97%的高位。

而推理芯片TPU 8i的设计哲学则截然不同，核心追求是“极致低延迟”。为此，谷歌几乎重做了整个推理软件栈。内存方面，通过集成288GB高带宽内存和384MB片上SRAM，将容量提升至上一代的3倍，旨在让模型的活跃参数尽可能驻留片上缓存，显著减少访存延迟。系统层面，引入自研的Axion CPU架构，并将每台服务器的CPU主机数量翻倍，再通过NUMA（非统一内存访问）进行隔离优化，提升系统协同效率。为适配当前主流的MoE（混合专家）模型，互连带宽提升至19.2 Tb/s，并采用新的Boardfly架构将网络路径长度缩短一半以上，优化多专家协同效率。此外，新增的片上集体加速引擎，将部分需跨芯片完成的全局操作移至芯片内部，据称可将此类关键操作的延迟最高降低至原来的五分之一。

这一系列硬件与软件协同改进的最终结果是，TPU 8i的每美元推理性能提升约80%，在同等成本下，AI服务能力接近翻番。

谷歌选择“训推分离”技术路径的逻辑非常清晰：智能体时代对模型训练（追求高吞吐、大规模）和在线推理（追求低延迟、高并发）的要求本质不同。行业实践表明，单一芯片架构难以同时最优地满足这两类差异化需求。既然如此，分而治之便成了自然的技术选择。从第八代TPU的实际表现来看，这种分离策略已显现出显著的性能效益。当然，谷歌敢于走这条深度定制化路径，离不开其对从芯片、互联到系统软件的全栈掌控能力。

全栈协同优化的威力

一个容易被忽略但至关重要的变化是，从这一代开始，TPU的搭档不再是英特尔或AMD的通用x86 CPU，而是谷歌自研的、为AI优化的Axion CPU。这意味着，谷歌可以按照AI工作负载的特性，深度定制CPU与TPU之间的协作方式，从而极致地压榨每一瓦电力所能换取的AI算力。

面对AI发展的核心约束——能源与功耗，谷歌的优化已不再局限于芯片本身，而是扩展到整个计算链路。从CPU、TPU、高速网络到数据中心基础设施，全部围绕能效进行重构。例如，将网络连接直接集成进计算芯片，减少节点间不必要的数据搬运能耗；实施统一的电源管理策略，根据实时负载动态分配电力，优先保障关键计算环节。

数据中心也从被动的承载角色变为主动参与协同设计，供电系统、任务调度、散热方案均被重新打磨。再结合第四代液冷技术，有效解决了高功率密度下的散热难题，让AI算力得以在更高能效区间稳定运行。

这些全栈优化叠加的效果非常显著：TPU 8t和8i的每瓦性能相比上一代提升近2倍。若将视角拉升至整个数据中心层面，单位电力提供的总算力在五年内已提升6倍。

更重要的是，谷歌正将这套全栈软硬件协同能力开放给广大开发者。无需复杂的底层环境适配，8t和8i原生支持PyTorch、JAX、vLLM等主流AI框架，并提供裸机访问模式，让开发者能直接触及硬件真实性能。配合MaxText、Tunix等开源工具链，从模型训练、微调到部署上线的全路径被进一步打通。这也让谷歌喊出“打造面向智能体时代的基础设施”这一口号时，显得更有技术底气。

AI芯片市场格局的微妙变化

随着谷歌新一代TPU发布，业界不免将其与当前的AI算力霸主英伟达进行对比。此前，英伟达CEO黄仁勋在一次播客中被问及：“世界上排名前三的AI模型中有两个——Claude和Gemini，都是在TPU上训练的。这对英伟达未来意味着什么？”他的回答简短而意味深长：“TPU没有威胁。”

在黄仁勋看来，专为AI设计的TPU只是在特定赛道取得了突破，而英伟达构建的是覆盖“全部”场景的加速计算生态系统。从CUDA软件生态，到支撑AI、高性能计算（HPC）、数据处理等全生命周期应用的能力，英伟达的护城河在于其广泛的适用性和庞大的开发者与客户基础。AI加速，只是其中当前最炙手可热的一部分。

然而，一个不容忽视的趋势是，随着AI应用持续吞噬全球算力，专用AI芯片的战略价值与市场潜力正在被重新评估。至少，像埃隆·马斯克这样的行业关键人物，已经用行动（如投资或自研AI芯片）表明了态度。这场围绕未来AI算力基础设施主导权的竞争，显然才刚刚进入一个更加激烈和多元化的新阶段。