为 AI 而生的系统:训练与推理
WARNING
🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。
训练一个大模型、把它以服务形态跑起来,靠的不是「更大的显卡」,而是一整套系统设计。本章用操作系统课的老三样——调度、内存、IO(通信)——把训练与推理的并行技术串成一条线。部署与推理的实操细节(框架选择、量化、服务化)在 部署与推理,本章讲的是同一批技术背后的系统设计原则。
一、训练系统:并行度拆解
一块 GPU 装不下前沿模型,一条数据喂不饱一个集群。训练系统的全部问题可以归纳成:把哪一份大(模型、数据、计算)切成小块,摊到多少台机器上。三条正交的切法:
图解说明:数据并行切数据(每卡持有完整模型);张量并行切单个矩阵乘(把权重矩阵按行/列劈开,卡间必须高速互联);流水线并行切层(不同卡负责不同层,像流水线工人接力)。三种切法正交,可以叠着用。
- 数据并行(DP):最古老也最简单——每张卡各存一份完整模型,各吃不同的小批次,每步训练结束把梯度做 all-reduce(全体卡交换、求和)。问题是内存冗余:N 张卡 = N 份模型 + N 份优化器状态。
- 张量并行(TP):把某一层的权重矩阵劈成多份,各卡算一部分再拼起来。通信发生在每一层的前向与反向,粒度极细,因此只适合放在 NVLink 直连的单机内部(下一章 GPU 栈 讲为什么)。
- 流水线并行(PP):按层把模型切成若干段,每段住一台机器。通信量小(只传段边界的激活值),但有气泡问题——前面的段算完只能等后面的段,流水线没灌满。工程解法是把一个批次再切成 micro-batch,让多条「工单」同时在流水线上流动。
补充:ZeRO——用「切」代替「复制」(点击展开)
数据并行的冗余在于:每张卡都完整保存参数、梯度和优化器状态(Adam 还要额外两份动量与方差,往往比参数本身更大)。ZeRO 的思路朴素而有效:这三样东西没必要每卡一份,切成 N 份、用时再临时聚合。Stage 1 切优化器状态,Stage 2 再切梯度,Stage 3 连参数也切。通信量与纯数据并行相当,内存占用却降到约 1/N——本质是用「按需通信」换「冗余存储」,一个教科书级的时空权衡。加上把激活值重算代替存储的 activation checkpointing(拿约 33% 额外计算换掉大部分激活内存),就构成了今天训练框架(DeepSpeed、Megatron 系列)的标配组合。
实际的前沿训练是三者叠加的3D 并行:机内用张量并行吃满 NVLink,机间用流水线并行减少跨网通信,最外层再套数据并行扩规模。每一维的选择都不是「越并行越好」,而是在通信代价、内存账单、流水线气泡之间做取舍——典型的系统设计问题。
二、通信:训练的真瓶颈
新手直觉是「训练慢 = 算力不够」,系统视角的回答是:先看通信。
- all-reduce 的数据量与参数量成正比,每步都要来一遍。模型越大、卡越多,集合同步的开销越难摊薄。
- 判断标准是计算通信比:一次通信窗口里能塞进多少有效浮点计算。张量并行通信粒度细到单层矩阵乘,所以必须待在机内;流水线只在段边界通信,所以敢跨机。
- 由此有一条设计铁律:并行策略要顺着硬件拓扑长——NVLink 内跑张量并行,跨机网络跑流水线与数据并行。并行图与网络拓扑不匹配,集群利用率会难看得刺眼。
把这条铁律记在心里,再去读 从 GPU 到数据中心,你会发现整个 AI 硬件栈——HBM 带宽、NVLink、胖树网络——都是为「让通信配得上计算」而生的。
三、推理系统:两阶段与 KV cache
推理是另一种负载。它不追求一次跑完万亿 token,而是要在毫秒级延迟和高吞吐之间服务成千上万个并发请求。先看单次请求内部发生了什么:
图解说明:预填阶段一次吃进整段提示,是计算密集型(大矩阵乘,GPU 满载);解码阶段每步只生成一个 token,却要把模型权重整个读一遍,是访存密集型(GPU 在等内存)。同一个请求、同一个模型,两个阶段的最佳系统配置完全不同——这是推理系统所有技巧的出发点。
KV cache 是解码阶段的救命设计。自回归生成每出一个 token 都要对之前的所有 token 做注意力;如果不缓存,第
KV cache 一大,问题就变成了内存管理问题——而且是操作系统课原题:
- 连续分配会产生内部碎片(按最大长度预留)与外部碎片(请求长短不一、反复进出);
- vLLM 的 PagedAttention 直接把操作系统虚拟内存分页搬了过来:KV cache 切成固定大小的块,逻辑连续、物理离散,块表映射,请求要多少给多少。碎片浪费从五成以上降到几个百分点,还能让多个请求共享公共前缀(系统提示词)的块——顺带实现了类似 copy-on-write 的效果。
这是本板块最喜欢的案例:AI 系统的最新进展,本质是 60 年前操作系统课的知识在新硬件上的重演。部署与推理 章有 PagedAttention 与 vLLM 的实战视角,可对照阅读。
四、调度:continuous batching
内存管好了,看调度。最朴素的推理服务是静态批:凑 N 个请求一个批一起进、一起出。问题在于请求长短不齐——批的耗时由最长的请求决定,先生成的 token 也只能陪着等,GPU 大量时间在空转。
Continuous batching(Orca 提出,vLLM 等已内置)把调度粒度从「请求级」降到「迭代级」:每生成一步(iteration)就重新审视批的成员——完成的请求立即退出、腾出的位置由排队的新请求填补。
| 静态批 | 连续批(迭代级调度) | |
|---|---|---|
| 批的边界 | 请求级:整批进整批出 | 迭代级:每步可进可出 |
| 长短请求混跑 | 短请求陪跑,GPU 空转 | 短请求先走,位置立即复用 |
| 吞吐 | 受最长请求拖累 | 接近满载 |
| 代价 | 实现简单 | 预填与解码交错,调度器复杂 |
这与操作系统从批处理演进到分时系统是同一个故事:把调度粒度做细、让资源在更小的空隙间流转。代价同样是调度器本身变复杂——预填(计算型)与解码(访存型)要错峰穿插,否则互相拖累(工程上叫 chunked prefill / prefill-decode 分离等方案)。
顺带一提 speculative decoding(投机解码):小模型快速起草若干 token,大模型一次并行验证——用「验证比生成便宜」的特性,在数学上等价于大模型解码、时间上快得多。它的思维方式仍然是系统设计的:在不改变语义的前提下重组计算。
五、老三样贯穿始终
把本章收拢:
| 主题 | 训练里的化身 | 推理里的化身 | 操作系统课的对应 |
|---|---|---|---|
| 内存 | ZeRO 切分、activation checkpoint | KV cache、PagedAttention 分块 | 虚拟内存、分页、换入换出 |
| 调度 | micro-batch 灌流水线 | continuous batching、预填/解码交错 | 分时调度、批处理→时间片 |
| IO / 通信 | all-reduce、并行策略贴拓扑 | 权重访存带宽、投机解码 | 总线、DMA、缓冲区管理 |
图解说明:左右两列在换名字,中间的骨架没变。这也是我把这些内容放进「计算机系统」而非「调参技巧」的原因——负载变了,原理没变。学过操作系统的读者应当在这里感到熟悉;没学过的读者,这一章就是最好的预习。
读完本章,进入 从 GPU 到数据中心:这些系统跑在什么样的硬件上,而硬件又如何反过来塑造了上面的一切。
参考
- Rajbhandari, S., et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC.
- Shoeybi, M., et al. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
- Huang, Y., et al. (2019). GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism. NeurIPS.
- Kwon, W., et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM). SOSP.
- Yu, G.-I., et al. (2022). Orca: A Distributed Serving System for Transformer-Based Generative Models. OSDI.
- Leviathan, Y., et al. (2023). Fast Inference from Transformers via Speculative Decoding. ICML.