从 GPU 到数据中心:AI 时代的硬件栈
WARNING
🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。
上一章的并行策略、KV cache、批调度,全都跑在真实的铜和硅上。本章自顶向下走一遍 AI 的硬件栈:为什么是 GPU、内存为什么永远不够、机器之间怎么连、电从哪里来。最后落到一个正在成形的观念:把整个数据中心当作一台计算机来设计。想动手摸 GPU 的读者,配套实战在 CUDA。
一、为什么 AI 偏爱 GPU:延迟型与吞吐型
CPU 与 GPU 的差异常被说成「快与更快」,准确的说法是两种相反的设计哲学:
- CPU 是延迟型(latency-oriented)设计:核少而精。深流水线、乱序执行、巨大的分支预测器和多级缓存,全部服务于一个目标——让单线程尽快跑完。它在等待数据时想尽办法「提前把数据备好」。
- GPU 是吞吐型(throughput-oriented)设计:核多而简。成千上万个简单线程,当一部分线程在等内存时,硬件立刻切换到另一批就绪的线程。它不消减延迟,而是用别的计算把等待时间填满。
深度学习的负载特征恰好是吞吐型的天堂:矩阵乘是规则、稠密、海量并行的计算,没有难预测的分支,没有错综的依赖——一万个小线程各自算一小块,正好喂饱 GPU 的设计。而 Tensor Core 把这层适配再推进一步:一条指令直接完成一小块矩阵乘(如
图解说明:从 CPU 到 GPU 到 Tensor Core,是把「并行」逐级下放给硬件的过程——线程级并行交给调度器,矩阵级并行交给专用单元。AI 芯片的演进方向(NPU、TPU)是这条线的延伸:负载越确定,硬件就可以越专用。
二、内存层级与内存墙
算力是显性的,内存是隐性的——而隐性的一方往往才是瓶颈。AI 硬件的内存是一串容量与速度此消彼长的层级:
| 层级 | 容量量级 | 带宽量级 | 离计算单元 |
|---|---|---|---|
| 寄存器 / SRAM(片上) | KB–MB | 极高 | 最近 |
| HBM(显存) | 每卡几十–几百 GB | 每 TB/s 级 | 近 |
| 主机内存 DRAM | 每节点 TB 级 | 数百 GB/s | 远 |
| SSD / 网络存储 | PB 级 | 更低 | 更远 |
图解说明:自上而下,容量每级放大百倍,带宽每级缩小数倍。任何一层的容量都装不下「全部」,于是软件的功夫全花在搬运与缓存上——上一章的 KV cache 管理就是这一层级的显影:放 HBM 太挤,扔掉重算太贵,于是分页、共享、按需换入。
内存墙说的是一个冷酷的事实:算力增长的速度持续快于带宽增长的速度,于是越来越多的程序「不是在算,而是在等数据」。系统课的 roofline 模型给了定量直觉——每个字节能支撑多少次浮点运算(算术强度)决定了你卡在哪:
矩阵乘算术强度高(一块数据反复用),能逼近算力上限;解码阶段的逐 token 生成算术强度极低(读一遍全部权重只产出一个 token),牢牢卡在带宽上——这正解释了 训练与推理系统 里「预填计算型、解码访存型」的分工。著名的 FlashAttention 也是打这堵墙:朴素实现的注意力要写出
三、互联与拓扑:并行策略贴着网络长
上一章说过「并行图要顺着硬件拓扑长」,现在看拓扑本身长什么样。现代 AI 集群天然分成两个域:
图解说明:机内是 scale-up:NVLink 把几块 GPU 织成紧耦合的「一台大计算机」,带宽是 PCIe 的一个量级之上;机间是 scale-out:InfiniBand/RoCE 以太网把成百上千个节点连成集群,单链带宽又低一个量级。两级带宽差决定了并行策略的座位表:通信最密的张量并行坐 NVLink,通信较稀的流水线/数据并行跨网。
互联之所以值得单列一节,是因为它正在取代晶体管成为新的 scaling 引擎:单芯片制程红利减速后,「多花钱在连接上」(更宽的 NVLink、更多层的光互联、更大的 scale-up 域)成了提升「单台逻辑计算机」规模的现实路径。集群设计里的胖树拓扑、轨道优化(rail-optimized)组网,目标都是一个——让任意两块需要通信的 GPU 之间有足够宽且均衡的路,否则上一章的 all-reduce 会在最窄的一条链路上排队。
四、能耗与散热:电是新预算
一颗旗舰加速器的功耗在千瓦量级,一个万卡集群的电与散热是几十兆瓦级——够一个小城镇生活。这带来三条硬约束:
- 功耗墙。 芯片性能上不去常常不是造不出更快的晶体管,而是散热散不掉对应的密度。液冷从「超算专属」变成 AI 数据中心标配,就是功耗墙的直接后果。
- 能效即架构。 移动一个字节消耗的能量高于完成一次乘加——在 AI 负载里,「搬运」比「计算」更费电。这与内存墙是同一件事的能耗表述:减少数据搬运,既是性能优化,也是能耗优化。FLOP/watt 成为评价 AI 系统的第一指标。
- 电力成为选址要素。 训练前沿模型的电力开销进入吉瓦时(GWh)量级,数据中心选址跟着电价与绿电供应走。算力的地理分布开始被电网重塑——这是软件工程师第一次离「电厂」这么近。
五、数据中心即计算机
Barroso 与 Hölzle 在《The Datacenter as a Computer》里提出的视角,在 AI 时代从「合理」变成「必然」:仓库级计算机(WSC)的天然构件是成千上万台服务器,它的「指令集」是作业调度器,它的「内存」是全体 DRAM,它的「IO」是网络与存储;程序员面对的不该是一台台机器,而是这台大计算机整体。
AI 把这个视角焊死了,因为大模型训练必须以集群为单位运行——单节点只是这台大计算机的一个「功能单元」。于是硬件与软件的边界持续消融:
- 通信库(如 NCCL)把 all-reduce 等集合通信编译成贴合拓扑的流水;
- 编译器与运行时(融合算子、自动并行)直接感知内存层级与互联带宽;
- 调度系统把「单作业跨数千卡」当成常态,故障率以「每几小时坏一块卡」计——容错从可选项变成设计前提(checkpoint 策略本身成为系统研究课题);
- TPU 这类「为 AI 从头造的计算机」干脆把芯片、互联、软件栈一体化设计——pod 即机器。
一张图收束本章:
图解说明:AI 的「计算机」是一个五层嵌套结构,每层的瓶颈不同(层内是带宽,层间是互联,整体是电力),但设计原则一条贯通:让数据少动、让计算贴着数据放。下一章 LLM OS 把视角拉回软件——当这台大计算机上跑的主人是语言模型时,新的操作系统层长什么样。
参考
- Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines. Morgan & Claypool.
- Jouppi, N., et al. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA.
- Williams, S., Waterman, A., & Patterson, D. (2009). Roofline: An Insightful Visual Performance Model for Multicore Architectures. CACM.
- Dao, T., et al. (2022). FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness. NeurIPS.
- NVIDIA (2024). H100 / GB200 系列 Architecture Whitepaper.