Skip to content

为 AI 而生的系统:训练与推理 ​

WARNING

🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。

训练一个大模型、把它以服务形态跑起来,靠的不是「更大的显卡」,而是一整套系统设计。本章用操作系统课的老三样——调度、内存、IO(通信)——把训练与推理的并行技术串成一条线。部署与推理的实操细节(框架选择、量化、服务化)在 部署与推理,本章讲的是同一批技术背后的系统设计原则。


一、训练系统:并行度拆解 ​

一块 GPU 装不下前沿模型,一条数据喂不饱一个集群。训练系统的全部问题可以归纳成:把哪一份大(模型、数据、计算)切成小块,摊到多少台机器上。三条正交的切法:

图解说明:数据并行切数据(每卡持有完整模型);张量并行切单个矩阵乘(把权重矩阵按行/列劈开,卡间必须高速互联);流水线并行切层(不同卡负责不同层,像流水线工人接力)。三种切法正交,可以叠着用。

  • 数据并行(DP):最古老也最简单——每张卡各存一份完整模型,各吃不同的小批次,每步训练结束把梯度做 all-reduce(全体卡交换、求和)。问题是内存冗余:N 张卡 = N 份模型 + N 份优化器状态。
  • 张量并行(TP):把某一层的权重矩阵劈成多份,各卡算一部分再拼起来。通信发生在每一层的前向与反向,粒度极细,因此只适合放在 NVLink 直连的单机内部(下一章 GPU 栈 讲为什么)。
  • 流水线并行(PP):按层把模型切成若干段,每段住一台机器。通信量小(只传段边界的激活值),但有气泡问题——前面的段算完只能等后面的段,流水线没灌满。工程解法是把一个批次再切成 micro-batch,让多条「工单」同时在流水线上流动。
补充:ZeRO——用「切」代替「复制」(点击展开)

数据并行的冗余在于:每张卡都完整保存参数、梯度和优化器状态(Adam 还要额外两份动量与方差,往往比参数本身更大)。ZeRO 的思路朴素而有效:这三样东西没必要每卡一份,切成 N 份、用时再临时聚合。Stage 1 切优化器状态,Stage 2 再切梯度,Stage 3 连参数也切。通信量与纯数据并行相当,内存占用却降到约 1/N——本质是用「按需通信」换「冗余存储」,一个教科书级的时空权衡。加上把激活值重算代替存储的 activation checkpointing(拿约 33% 额外计算换掉大部分激活内存),就构成了今天训练框架(DeepSpeed、Megatron 系列)的标配组合。

实际的前沿训练是三者叠加的3D 并行:机内用张量并行吃满 NVLink,机间用流水线并行减少跨网通信,最外层再套数据并行扩规模。每一维的选择都不是「越并行越好」,而是在通信代价、内存账单、流水线气泡之间做取舍——典型的系统设计问题。


二、通信:训练的真瓶颈 ​

新手直觉是「训练慢 = 算力不够」,系统视角的回答是:先看通信。

  • all-reduce 的数据量与参数量成正比,每步都要来一遍。模型越大、卡越多,集合同步的开销越难摊薄。
  • 判断标准是计算通信比:一次通信窗口里能塞进多少有效浮点计算。张量并行通信粒度细到单层矩阵乘,所以必须待在机内;流水线只在段边界通信,所以敢跨机。
  • 由此有一条设计铁律:并行策略要顺着硬件拓扑长——NVLink 内跑张量并行,跨机网络跑流水线与数据并行。并行图与网络拓扑不匹配,集群利用率会难看得刺眼。

把这条铁律记在心里,再去读 从 GPU 到数据中心,你会发现整个 AI 硬件栈——HBM 带宽、NVLink、胖树网络——都是为「让通信配得上计算」而生的。


三、推理系统:两阶段与 KV cache ​

推理是另一种负载。它不追求一次跑完万亿 token,而是要在毫秒级延迟和高吞吐之间服务成千上万个并发请求。先看单次请求内部发生了什么:

图解说明:预填阶段一次吃进整段提示,是计算密集型(大矩阵乘,GPU 满载);解码阶段每步只生成一个 token,却要把模型权重整个读一遍,是访存密集型(GPU 在等内存)。同一个请求、同一个模型,两个阶段的最佳系统配置完全不同——这是推理系统所有技巧的出发点。

KV cache 是解码阶段的救命设计。自回归生成每出一个 token 都要对之前的所有 token 做注意力;如果不缓存,第 n 步要重算前 n−1 步的全部 Key/Value,复杂度是 O(n2)。把每层的 K、V 存下来,每步只算新 token 的增量,代价是一块随序列长度和并发数线性膨胀的内存——在服务场景下,它很快超过模型权重本身,成为显存的第一消耗者。

KV cache 一大,问题就变成了内存管理问题——而且是操作系统课原题:

  • 连续分配会产生内部碎片(按最大长度预留)与外部碎片(请求长短不一、反复进出);
  • vLLM 的 PagedAttention 直接把操作系统虚拟内存分页搬了过来:KV cache 切成固定大小的块,逻辑连续、物理离散,块表映射,请求要多少给多少。碎片浪费从五成以上降到几个百分点,还能让多个请求共享公共前缀(系统提示词)的块——顺带实现了类似 copy-on-write 的效果。

这是本板块最喜欢的案例:AI 系统的最新进展,本质是 60 年前操作系统课的知识在新硬件上的重演。部署与推理 章有 PagedAttention 与 vLLM 的实战视角,可对照阅读。


四、调度:continuous batching ​

内存管好了,看调度。最朴素的推理服务是静态批:凑 N 个请求一个批一起进、一起出。问题在于请求长短不齐——批的耗时由最长的请求决定,先生成的 token 也只能陪着等,GPU 大量时间在空转。

Continuous batching(Orca 提出,vLLM 等已内置)把调度粒度从「请求级」降到「迭代级」:每生成一步(iteration)就重新审视批的成员——完成的请求立即退出、腾出的位置由排队的新请求填补。

静态批连续批(迭代级调度)
批的边界请求级:整批进整批出迭代级:每步可进可出
长短请求混跑短请求陪跑,GPU 空转短请求先走,位置立即复用
吞吐受最长请求拖累接近满载
代价实现简单预填与解码交错,调度器复杂

这与操作系统从批处理演进到分时系统是同一个故事:把调度粒度做细、让资源在更小的空隙间流转。代价同样是调度器本身变复杂——预填(计算型)与解码(访存型)要错峰穿插,否则互相拖累(工程上叫 chunked prefill / prefill-decode 分离等方案)。

顺带一提 speculative decoding(投机解码):小模型快速起草若干 token,大模型一次并行验证——用「验证比生成便宜」的特性,在数学上等价于大模型解码、时间上快得多。它的思维方式仍然是系统设计的:在不改变语义的前提下重组计算。


五、老三样贯穿始终 ​

把本章收拢:

主题训练里的化身推理里的化身操作系统课的对应
内存ZeRO 切分、activation checkpointKV cache、PagedAttention 分块虚拟内存、分页、换入换出
调度micro-batch 灌流水线continuous batching、预填/解码交错分时调度、批处理→时间片
IO / 通信all-reduce、并行策略贴拓扑权重访存带宽、投机解码总线、DMA、缓冲区管理

图解说明:左右两列在换名字,中间的骨架没变。这也是我把这些内容放进「计算机系统」而非「调参技巧」的原因——负载变了,原理没变。学过操作系统的读者应当在这里感到熟悉;没学过的读者,这一章就是最好的预习。

读完本章,进入 从 GPU 到数据中心:这些系统跑在什么样的硬件上,而硬件又如何反过来塑造了上面的一切。

参考 ​

  1. Rajbhandari, S., et al. (2020). ZeRO: Memory Optimizations Toward Training Trillion Parameter Models. SC.
  2. Shoeybi, M., et al. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism. arXiv:1909.08053.
  3. Huang, Y., et al. (2019). GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism. NeurIPS.
  4. Kwon, W., et al. (2023). Efficient Memory Management for Large Language Model Serving with PagedAttention (vLLM). SOSP.
  5. Yu, G.-I., et al. (2022). Orca: A Distributed Serving System for Transformer-Based Generative Models. OSDI.
  6. Leviathan, Y., et al. (2023). Fast Inference from Transformers via Speculative Decoding. ICML.