我看未来的计算机系统
WARNING
🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。
和上一篇一样,这是个人观点。软件工程篇谈「造软件的方式」,本篇谈「软件脚下的土地」:计算机系统这个学科正在被 AI 负载重新塑形。判断附理由,理由附反例。反驳通道照常开放。
结论先行:
- token 正在成为新的「指令流」——系统设计的默认负载正在从「执行任意程序」漂移到「生成 token」,围绕它会长出新一代系统软件与硬件。
- 专用化的钟摆正在荡向「模块化专用」:完全通用的 CPU 与完全固定的 ASIC 都不是终点。
- **三面墙——能耗、内存墙、带宽——**决定一切系统创新的形状:所有值得一提的进展(3D 堆叠、存算一体、光互联、稀疏计算)都在攻「搬运」这一件事。
- 端云将再平衡,混合推理是稳态,而不是纯云或纯端。
- 对系统学科而言这是一次golden age:调度、内存、编译、网络,每一门老手艺都在被重做一遍。
一、从指令流到 token 流
冯·诺依曼架构的七十年,是为「执行任意程序」精调的七十年:指令流水线、缓存层级、分支预测、虚拟内存——全部为了让通用程序跑得快。这个「通用」正在换底。
训练与推理已经成为数据中心增长最快的负载(从 GPU 到数据中心);推理服务呈现出一种此前从未主导过系统设计的新形态:持续生成、访存密集、延迟敏感、波动的并发(训练与推理系统)。当这类负载吃掉新增算力的大头,系统的默认假设就会改写——就像三十年前 OLTP 数据库塑造了存储栈、十五年前移动端塑造了 SoC 一样。
我把这个转移叫「从指令流到 token 流」:系统的输入不再是待执行的指令序列,而是待延续的语义序列;优化目标从 IPC(每周期指令数)变成每焦耳 token 数、每美元 token 数。你已经能看到系统软件在跟着换词汇:服务框架谈的是生成吞吐(tokens/s)、首 token 延迟(TTFT)、每 token 成本——这些指标在五年前的系统课里都不存在。
「推理即服务」会成为像「数据库即服务」一样的一等系统形态:它有在线系统的排队与调度问题、有存储系统的缓存与分层问题、有数据库的隔离与多租户问题——只是被 token 重新表述。这一代系统工程师的机遇,是把数据库与操作系统六十年的积木,搬到这个新负载上。
二、专用化的钟摆:荡向「模块化专用」
计算硬件的历史是一个钟摆:专用(早期每台机器一个用途)→ 通用(CPU 一统)→ 又专用(GPU、DSP)→ 又强调通用(GPGPU)→ 再专用(TPU、NPU)。Hennessy 与 Patterson 在图灵奖演讲里把这个周期讲透了:通用处理器的性能红利(登纳德缩放 + 摩尔定律)耗尽之后,领域专用架构(DSA)是仅剩的几条路之一。
AI 芯片正处在钟摆的专用一侧,但我认为终点不是「越专越好」,理由是一个时间尺度的错配:
- 模型架构的演化周期是月(Attention 变体、MoE、新归一化……);
- 芯片的设计制造周期是年(流片到量产 3-5 年)。
完全绑死某一代表格式的 ASIC,赌的是「我造出来时算法还在」——这是一场危险的赛跑(历史上有输家:绑死某代 CNN 的推理芯片很快被 Transformer 淘汰)。所以我押注模块化专用胜出:
- 通用可编程的矩阵引擎(Tensor Core 一类,格式可配置)作为算力主体;
- 稳定的接口层(scale-up 互联、集合通信库、编译器中间表示)承担快速演化;
- 软件栈(编译与调度)承担「新算法落到旧芯片」的翻译。
换言之:把「易变」推给软件,把「稳定」铸进硬件——这本来就是 RISC 当年胜出的哲学,我赌它再次胜出。
三、三面墙:能耗、内存墙、带宽
未来十年的系统创新,几乎全部长在三面墙上。物理定律不谈判(导论 第四节),但约束正是设计的源泉。
- 能耗墙。 移动一个字节比算一次乘加更费电,而 AI 负载的「乘加/字节」比又天然偏低。于是「节能」与「提速」合流成同一件事:减少数据搬运。数据中心级的后果是电力成为第一等资源——选址、定价、调度(什么任务挪到便宜时段与绿电富余的地方跑)都围绕它重组。
- 内存墙。 算力涨得比带宽快,roofline 越来越陡。短期解法是把存储往计算挪:3D 堆叠让 HBM 贴近计算单元;中长期候选是存算一体(在存储器里直接做乘加)——它不是新想法(1990 年代就有),但 AI 第一次给了它足够大的经济动力。我持谨慎乐观:工艺良率与非易失存储的精度问题都是硬骨头,但在「边缘端小模型」这个细分里它可能先跑出来。
- 带宽墙。 单芯片红利减速后,互联成为新的 scaling 引擎(上一章的 scale-up 域扩张、光互联、以网代总线)。我把它总结成一句:带宽是新的摩尔定律——未来五年,买算力的预算会越来越多花在「连接」而不是「晶体管」上。
图解说明:三面墙看似独立,病根是同一个——数据在存储层级间的搬运成本。四条主流解法全部指向「少动、近算、快连」。判断一项系统研究或创业方向的窍门:数一数它一年帮系统少搬多少字节。
四、端云再平衡:混合推理是稳态
「模型都放云上」的纯云假设正在松动。约束是三个老朋友:延迟(网络往返)、隐私(数据不出域)、成本(每次调用计费)。而模型的小型化(蒸馏、量化、稀疏化)让端侧第一次有了能干的模型。
我判断稳态是分层混合,而不是非此即彼:
| 层 | 放什么 | 理由 |
|---|---|---|
| 端侧(手机 / PC / 车机) | 小模型:意图理解、转写、推荐、简单 Agent | 延迟敏感、隐私敏感、调用海量 |
| 边缘 / 私有云 | 中模型:领域微调、企业数据不出域 | 合规与数据主权 |
| 中心云 | 前沿大模型:复杂推理、长程 Agent | 规模效应、稀缺算力集中 |
路由层(决定这轮对话谁接)会成为新的系统组件——它就是 LLM OS 里说的调度器,只不过调度的对象从「进程」变成了「不同价位的智能」。历史上「端云之争」打过很多轮(瘦客户端 vs 胖客户端、边缘计算),每次都以混合告终;我没有理由认为这次例外。
五、神经计算与传统计算的融合
最后一层观点,也是我最想放进这个笔记的:未来的计算机系统是两种计算的混合体——精确的符号计算(Software 1.0)与近似的神经计算(Software 2.0)在同一台机器、同一份工作负载里协作。
这件事已经悄悄发生:Google 曾用强化学习调数据中心冷却与调度;数据库界在研究「学习的索引」用模型替代 B 树的一部分;CPU 厂商开始往芯片里放 NPU。而反向的融合更深刻——Agent 运行时正在成为一种新的系统软件:它管理上下文(内存管理)、调度任务(进程调度)、控制权限(安全)、连接工具(驱动)。LLM OS 那张对照表,就是这门新系统软件的课程大纲。
所以「计算机系统」这门学科的边界在扩:从「管理确定性的机器」扩展到「编排确定性与不确定性的混合体」。系统课的老三样不会作废——它们只是换了作业题。
补充:给系统方向学习者的具体建议(点击展开)
老三样(体系结构、操作系统、网络)依然是根基,而且现在是最好的投资时机——因为每一门都在被 AI 重写:体系结构在重学「为神经网络设计」(GPU 栈);操作系统在重学「为 Agent 设计」(LLM OS);网络在重学「为集合通信设计」(互联拓扑)。建议的路径:先用本板块建立地图,再回到经典教材(Hennessy & Patterson、OSTEP、TCP/IP 详解)打地基,最后挑一个方向亲手做——vLLM、PyTorch 分布式、或者一个玩具 Agent 运行时,都是极好的练手对象。本仓库的 CUDA 与 PyTorch 章是通往底层的梯子。
六、我可能错在哪
- 「token 流主导系统设计」可能言过其实。 如果推理成本沿当前曲线再降两个量级,AI 负载可能变得像今天的 Web 服务一样「平凡」,系统设计回归通用均衡。但我认为即便如此,「为智能付费的算力」占总算力的份额仍会高于历史上的任何专用负载——方向不变,程度可辩。
- 模块化专用可能输给激进专用。 如果模型架构进入平台期(Transformer 再统治十年),绑死它的 ASIC 就赌赢了,钟摆会荡得比我预测的更远。反过来说,架构平台期本身就是另一个重大判断,两者绑定。
- 端侧可能永远「差一口气」。 端侧模型的进步与前沿模型的进步是同一条曲线,端侧追赶的对象也在跑。如果「够用」的门槛随用户预期水涨船高,混合路由的天平会长期偏向云。
- 最大的未知数是范式本身。 以上全部推理建立在「大模型 + 服务化」的框架内;如果出现全新的计算范式(比如以世界模型为中心的持续学习系统),这套推理要推倒重来。承认这一点,是所有技术预测的诚实底线。
至此展望结束,本板块收官。回到 板块首页 重新看那张地图,或去 导论 复习「变与不变」——希望读完这九篇,你看到的不再只是「AI 很强」,而是「一个学科正在换地基,而地基的图纸就摊在每个人面前」。
参考
- Hennessy, J. L., & Patterson, D. A. (2019). A New Golden Age for Computer Architecture. CACM(图灵奖演讲,专用化钟摆的系统论述).
- Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer. Morgan & Claypool.
- Jouppi, N., et al. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA.
- Kraska, T., et al. (2018). The Case for Learned Index Structures. SIGMOD(神经计算进入系统内部的标志性工作).
- Horowitz, M. (2014). Computing's Energy Problem (and What We Can Do About It). ISSCC(「搬运比计算贵」的能耗视角).
- Patterson, D. A., & Hennessy, J. L. Computer Architecture: A Quantitative Approach(老三样的原点,仍值得整本重读的章节:功耗与 DSA).