TPU：谷歌专为AI打造的超级芯片

一句话解释

TPU（Tensor Processing Unit）是谷歌专门为神经网络中的大量矩阵乘法设计的定制芯片，相当于AI世界的超级计算器。

为什么会被关注

随着大模型和生成式AI爆发，传统CPU和通用GPU在超大参数规模下能耗和效率瓶颈凸显。TPU在每瓦性能上远超同代GPU，且能被TensorFlow等框架直接调用，这让开发者能在合理成本下完成上亿参数的模型训练。

核心逻辑

TPU的核心是大量可重构的乘积累加阵列（Systolic Array），一次性完成成百上千次矩阵乘加操作，无需反复读写数据。配合高带宽显存（HBM）和专用互连拓扑，大幅减少数据搬运延迟，让线性代数运算接近理论峰值。

与GPU不同，TPU牺牲了图形渲染和通用计算能力，专攻张量运算，因此晶体管利用率极高。谷歌每推出新一代TPU，都会同步更新自定义互联（ICI）和编译器优化，让多芯片集群线性扩展成为可能。

常见场景

训练和推理：从BERT、GPT到PaLM，谷歌大量生成式模型都在TPU Pod集群上完成。Google Photos中的人脸识别、翻译里的RNN、RankBrain的搜索排序，也靠TPU实时响应。

云服务：通过Google Cloud TPU，企业按需租用算力，无需自建集群。TPU还应用于AlphaFold蛋白质折叠、天气预测等科学计算，替代传统CPU模拟。

容易混淆的点

TPU不是CPU替代品，也无法运行普通操作系统或游戏。它必须搭配主机CPU使用，由主机负责指令调度。

很多人误以为TPU只能用在TensorFlow上，实际上通过XLA编译器，JAX、PyTorch等框架也可以通过LLVM后端调用TPU推理。另外，TPU不是唯一AI芯片，NVIDIA GPU在训练生态中仍有明显优势，两者互补而非替代。