Skip to content

从 GPU 到数据中心:AI 时代的硬件栈 ​

WARNING

🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。

上一章的并行策略、KV cache、批调度,全都跑在真实的铜和硅上。本章自顶向下走一遍 AI 的硬件栈:为什么是 GPU、内存为什么永远不够、机器之间怎么连、电从哪里来。最后落到一个正在成形的观念:把整个数据中心当作一台计算机来设计。想动手摸 GPU 的读者,配套实战在 CUDA。


一、为什么 AI 偏爱 GPU:延迟型与吞吐型 ​

CPU 与 GPU 的差异常被说成「快与更快」,准确的说法是两种相反的设计哲学:

  • CPU 是延迟型(latency-oriented)设计:核少而精。深流水线、乱序执行、巨大的分支预测器和多级缓存,全部服务于一个目标——让单线程尽快跑完。它在等待数据时想尽办法「提前把数据备好」。
  • GPU 是吞吐型(throughput-oriented)设计:核多而简。成千上万个简单线程,当一部分线程在等内存时,硬件立刻切换到另一批就绪的线程。它不消减延迟,而是用别的计算把等待时间填满。

深度学习的负载特征恰好是吞吐型的天堂:矩阵乘是规则、稠密、海量并行的计算,没有难预测的分支,没有错综的依赖——一万个小线程各自算一小块,正好喂饱 GPU 的设计。而 Tensor Core 把这层适配再推进一步:一条指令直接完成一小块矩阵乘(如 16×8×16 的混合精度乘加),让「算力」的计量单位从 FMA 升级成矩阵。训练与推理里的浮点吞吐,几乎全部来自这些单元。

图解说明:从 CPU 到 GPU 到 Tensor Core,是把「并行」逐级下放给硬件的过程——线程级并行交给调度器,矩阵级并行交给专用单元。AI 芯片的演进方向(NPU、TPU)是这条线的延伸:负载越确定,硬件就可以越专用。


二、内存层级与内存墙 ​

算力是显性的,内存是隐性的——而隐性的一方往往才是瓶颈。AI 硬件的内存是一串容量与速度此消彼长的层级:

层级容量量级带宽量级离计算单元
寄存器 / SRAM(片上)KB–MB极高最近
HBM(显存)每卡几十–几百 GB每 TB/s 级近
主机内存 DRAM每节点 TB 级数百 GB/s远
SSD / 网络存储PB 级更低更远

图解说明:自上而下,容量每级放大百倍,带宽每级缩小数倍。任何一层的容量都装不下「全部」,于是软件的功夫全花在搬运与缓存上——上一章的 KV cache 管理就是这一层级的显影:放 HBM 太挤,扔掉重算太贵,于是分页、共享、按需换入。

内存墙说的是一个冷酷的事实:算力增长的速度持续快于带宽增长的速度,于是越来越多的程序「不是在算,而是在等数据」。系统课的 roofline 模型给了定量直觉——每个字节能支撑多少次浮点运算(算术强度)决定了你卡在哪:

可达性能=min(峰值算力, 带宽×算术强度)

矩阵乘算术强度高(一块数据反复用),能逼近算力上限;解码阶段的逐 token 生成算术强度极低(读一遍全部权重只产出一个 token),牢牢卡在带宽上——这正解释了 训练与推理系统 里「预填计算型、解码访存型」的分工。著名的 FlashAttention 也是打这堵墙:朴素实现的注意力要写出 n×n 的中间矩阵(大量访存),分块计算则让数据尽量留在片上 SRAM,不落下纸面。算法没变,语义不变,访存量骤降——「减少数据搬运」是贯穿整个 AI 系统栈的第一设计原则。


三、互联与拓扑:并行策略贴着网络长 ​

上一章说过「并行图要顺着硬件拓扑长」,现在看拓扑本身长什么样。现代 AI 集群天然分成两个域:

图解说明:机内是 scale-up:NVLink 把几块 GPU 织成紧耦合的「一台大计算机」,带宽是 PCIe 的一个量级之上;机间是 scale-out:InfiniBand/RoCE 以太网把成百上千个节点连成集群,单链带宽又低一个量级。两级带宽差决定了并行策略的座位表:通信最密的张量并行坐 NVLink,通信较稀的流水线/数据并行跨网。

互联之所以值得单列一节,是因为它正在取代晶体管成为新的 scaling 引擎:单芯片制程红利减速后,「多花钱在连接上」(更宽的 NVLink、更多层的光互联、更大的 scale-up 域)成了提升「单台逻辑计算机」规模的现实路径。集群设计里的胖树拓扑、轨道优化(rail-optimized)组网,目标都是一个——让任意两块需要通信的 GPU 之间有足够宽且均衡的路,否则上一章的 all-reduce 会在最窄的一条链路上排队。


四、能耗与散热:电是新预算 ​

一颗旗舰加速器的功耗在千瓦量级,一个万卡集群的电与散热是几十兆瓦级——够一个小城镇生活。这带来三条硬约束:

  1. 功耗墙。 芯片性能上不去常常不是造不出更快的晶体管,而是散热散不掉对应的密度。液冷从「超算专属」变成 AI 数据中心标配,就是功耗墙的直接后果。
  2. 能效即架构。 移动一个字节消耗的能量高于完成一次乘加——在 AI 负载里,「搬运」比「计算」更费电。这与内存墙是同一件事的能耗表述:减少数据搬运,既是性能优化,也是能耗优化。FLOP/watt 成为评价 AI 系统的第一指标。
  3. 电力成为选址要素。 训练前沿模型的电力开销进入吉瓦时(GWh)量级,数据中心选址跟着电价与绿电供应走。算力的地理分布开始被电网重塑——这是软件工程师第一次离「电厂」这么近。

五、数据中心即计算机 ​

Barroso 与 Hölzle 在《The Datacenter as a Computer》里提出的视角,在 AI 时代从「合理」变成「必然」:仓库级计算机(WSC)的天然构件是成千上万台服务器,它的「指令集」是作业调度器,它的「内存」是全体 DRAM,它的「IO」是网络与存储;程序员面对的不该是一台台机器,而是这台大计算机整体。

AI 把这个视角焊死了,因为大模型训练必须以集群为单位运行——单节点只是这台大计算机的一个「功能单元」。于是硬件与软件的边界持续消融:

  • 通信库(如 NCCL)把 all-reduce 等集合通信编译成贴合拓扑的流水;
  • 编译器与运行时(融合算子、自动并行)直接感知内存层级与互联带宽;
  • 调度系统把「单作业跨数千卡」当成常态,故障率以「每几小时坏一块卡」计——容错从可选项变成设计前提(checkpoint 策略本身成为系统研究课题);
  • TPU 这类「为 AI 从头造的计算机」干脆把芯片、互联、软件栈一体化设计——pod 即机器。

一张图收束本章:

图解说明:AI 的「计算机」是一个五层嵌套结构,每层的瓶颈不同(层内是带宽,层间是互联,整体是电力),但设计原则一条贯通:让数据少动、让计算贴着数据放。下一章 LLM OS 把视角拉回软件——当这台大计算机上跑的主人是语言模型时,新的操作系统层长什么样。

参考 ​

  1. Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines. Morgan & Claypool.
  2. Jouppi, N., et al. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA.
  3. Williams, S., Waterman, A., & Patterson, D. (2009). Roofline: An Insightful Visual Performance Model for Multicore Architectures. CACM.
  4. Dao, T., et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS.
  5. NVIDIA (2024). H100 / GB200 系列 Architecture Whitepaper.