Skip to content

我看未来的计算机系统 ​

WARNING

🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。

和上一篇一样,这是个人观点。软件工程篇谈「造软件的方式」,本篇谈「软件脚下的土地」:计算机系统这个学科正在被 AI 负载重新塑形。判断附理由,理由附反例。反驳通道照常开放。

结论先行:

  1. token 正在成为新的「指令流」——系统设计的默认负载正在从「执行任意程序」漂移到「生成 token」,围绕它会长出新一代系统软件与硬件。
  2. 专用化的钟摆正在荡向「模块化专用」:完全通用的 CPU 与完全固定的 ASIC 都不是终点。
  3. **三面墙——能耗、内存墙、带宽——**决定一切系统创新的形状:所有值得一提的进展(3D 堆叠、存算一体、光互联、稀疏计算)都在攻「搬运」这一件事。
  4. 端云将再平衡,混合推理是稳态,而不是纯云或纯端。
  5. 对系统学科而言这是一次golden age:调度、内存、编译、网络,每一门老手艺都在被重做一遍。

一、从指令流到 token 流 ​

冯·诺依曼架构的七十年,是为「执行任意程序」精调的七十年:指令流水线、缓存层级、分支预测、虚拟内存——全部为了让通用程序跑得快。这个「通用」正在换底。

训练与推理已经成为数据中心增长最快的负载(从 GPU 到数据中心);推理服务呈现出一种此前从未主导过系统设计的新形态:持续生成、访存密集、延迟敏感、波动的并发(训练与推理系统)。当这类负载吃掉新增算力的大头,系统的默认假设就会改写——就像三十年前 OLTP 数据库塑造了存储栈、十五年前移动端塑造了 SoC 一样。

我把这个转移叫「从指令流到 token 流」:系统的输入不再是待执行的指令序列,而是待延续的语义序列;优化目标从 IPC(每周期指令数)变成每焦耳 token 数、每美元 token 数。你已经能看到系统软件在跟着换词汇:服务框架谈的是生成吞吐(tokens/s)、首 token 延迟(TTFT)、每 token 成本——这些指标在五年前的系统课里都不存在。

「推理即服务」会成为像「数据库即服务」一样的一等系统形态:它有在线系统的排队与调度问题、有存储系统的缓存与分层问题、有数据库的隔离与多租户问题——只是被 token 重新表述。这一代系统工程师的机遇,是把数据库与操作系统六十年的积木,搬到这个新负载上。

二、专用化的钟摆:荡向「模块化专用」 ​

计算硬件的历史是一个钟摆:专用(早期每台机器一个用途)→ 通用(CPU 一统)→ 又专用(GPU、DSP)→ 又强调通用(GPGPU)→ 再专用(TPU、NPU)。Hennessy 与 Patterson 在图灵奖演讲里把这个周期讲透了:通用处理器的性能红利(登纳德缩放 + 摩尔定律)耗尽之后,领域专用架构(DSA)是仅剩的几条路之一。

AI 芯片正处在钟摆的专用一侧,但我认为终点不是「越专越好」,理由是一个时间尺度的错配:

  • 模型架构的演化周期是月(Attention 变体、MoE、新归一化……);
  • 芯片的设计制造周期是年(流片到量产 3-5 年)。

完全绑死某一代表格式的 ASIC,赌的是「我造出来时算法还在」——这是一场危险的赛跑(历史上有输家:绑死某代 CNN 的推理芯片很快被 Transformer 淘汰)。所以我押注模块化专用胜出:

  • 通用可编程的矩阵引擎(Tensor Core 一类,格式可配置)作为算力主体;
  • 稳定的接口层(scale-up 互联、集合通信库、编译器中间表示)承担快速演化;
  • 软件栈(编译与调度)承担「新算法落到旧芯片」的翻译。

换言之:把「易变」推给软件,把「稳定」铸进硬件——这本来就是 RISC 当年胜出的哲学,我赌它再次胜出。

三、三面墙:能耗、内存墙、带宽 ​

未来十年的系统创新,几乎全部长在三面墙上。物理定律不谈判(导论 第四节),但约束正是设计的源泉。

  1. 能耗墙。 移动一个字节比算一次乘加更费电,而 AI 负载的「乘加/字节」比又天然偏低。于是「节能」与「提速」合流成同一件事:减少数据搬运。数据中心级的后果是电力成为第一等资源——选址、定价、调度(什么任务挪到便宜时段与绿电富余的地方跑)都围绕它重组。
  2. 内存墙。 算力涨得比带宽快,roofline 越来越陡。短期解法是把存储往计算挪:3D 堆叠让 HBM 贴近计算单元;中长期候选是存算一体(在存储器里直接做乘加)——它不是新想法(1990 年代就有),但 AI 第一次给了它足够大的经济动力。我持谨慎乐观:工艺良率与非易失存储的精度问题都是硬骨头,但在「边缘端小模型」这个细分里它可能先跑出来。
  3. 带宽墙。 单芯片红利减速后,互联成为新的 scaling 引擎(上一章的 scale-up 域扩张、光互联、以网代总线)。我把它总结成一句:带宽是新的摩尔定律——未来五年,买算力的预算会越来越多花在「连接」而不是「晶体管」上。

图解说明:三面墙看似独立,病根是同一个——数据在存储层级间的搬运成本。四条主流解法全部指向「少动、近算、快连」。判断一项系统研究或创业方向的窍门:数一数它一年帮系统少搬多少字节。

四、端云再平衡:混合推理是稳态 ​

「模型都放云上」的纯云假设正在松动。约束是三个老朋友:延迟(网络往返)、隐私(数据不出域)、成本(每次调用计费)。而模型的小型化(蒸馏、量化、稀疏化)让端侧第一次有了能干的模型。

我判断稳态是分层混合,而不是非此即彼:

层放什么理由
端侧(手机 / PC / 车机)小模型:意图理解、转写、推荐、简单 Agent延迟敏感、隐私敏感、调用海量
边缘 / 私有云中模型:领域微调、企业数据不出域合规与数据主权
中心云前沿大模型:复杂推理、长程 Agent规模效应、稀缺算力集中

路由层(决定这轮对话谁接)会成为新的系统组件——它就是 LLM OS 里说的调度器,只不过调度的对象从「进程」变成了「不同价位的智能」。历史上「端云之争」打过很多轮(瘦客户端 vs 胖客户端、边缘计算),每次都以混合告终;我没有理由认为这次例外。

五、神经计算与传统计算的融合 ​

最后一层观点,也是我最想放进这个笔记的:未来的计算机系统是两种计算的混合体——精确的符号计算(Software 1.0)与近似的神经计算(Software 2.0)在同一台机器、同一份工作负载里协作。

这件事已经悄悄发生:Google 曾用强化学习调数据中心冷却与调度;数据库界在研究「学习的索引」用模型替代 B 树的一部分;CPU 厂商开始往芯片里放 NPU。而反向的融合更深刻——Agent 运行时正在成为一种新的系统软件:它管理上下文(内存管理)、调度任务(进程调度)、控制权限(安全)、连接工具(驱动)。LLM OS 那张对照表,就是这门新系统软件的课程大纲。

所以「计算机系统」这门学科的边界在扩:从「管理确定性的机器」扩展到「编排确定性与不确定性的混合体」。系统课的老三样不会作废——它们只是换了作业题。

补充:给系统方向学习者的具体建议(点击展开)

老三样(体系结构、操作系统、网络)依然是根基,而且现在是最好的投资时机——因为每一门都在被 AI 重写:体系结构在重学「为神经网络设计」(GPU 栈);操作系统在重学「为 Agent 设计」(LLM OS);网络在重学「为集合通信设计」(互联拓扑)。建议的路径:先用本板块建立地图,再回到经典教材(Hennessy & Patterson、OSTEP、TCP/IP 详解)打地基,最后挑一个方向亲手做——vLLM、PyTorch 分布式、或者一个玩具 Agent 运行时,都是极好的练手对象。本仓库的 CUDA 与 PyTorch 章是通往底层的梯子。

六、我可能错在哪 ​

  1. 「token 流主导系统设计」可能言过其实。 如果推理成本沿当前曲线再降两个量级,AI 负载可能变得像今天的 Web 服务一样「平凡」,系统设计回归通用均衡。但我认为即便如此,「为智能付费的算力」占总算力的份额仍会高于历史上的任何专用负载——方向不变,程度可辩。
  2. 模块化专用可能输给激进专用。 如果模型架构进入平台期(Transformer 再统治十年),绑死它的 ASIC 就赌赢了,钟摆会荡得比我预测的更远。反过来说,架构平台期本身就是另一个重大判断,两者绑定。
  3. 端侧可能永远「差一口气」。 端侧模型的进步与前沿模型的进步是同一条曲线,端侧追赶的对象也在跑。如果「够用」的门槛随用户预期水涨船高,混合路由的天平会长期偏向云。
  4. 最大的未知数是范式本身。 以上全部推理建立在「大模型 + 服务化」的框架内;如果出现全新的计算范式(比如以世界模型为中心的持续学习系统),这套推理要推倒重来。承认这一点,是所有技术预测的诚实底线。

至此展望结束,本板块收官。回到 板块首页 重新看那张地图,或去 导论 复习「变与不变」——希望读完这九篇,你看到的不再只是「AI 很强」,而是「一个学科正在换地基,而地基的图纸就摊在每个人面前」。

参考 ​

  1. Hennessy, J. L., & Patterson, D. A. (2019). A New Golden Age for Computer Architecture. CACM(图灵奖演讲,专用化钟摆的系统论述).
  2. Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer. Morgan & Claypool.
  3. Jouppi, N., et al. (2017). In-Datacenter Performance Analysis of a Tensor Processing Unit. ISCA.
  4. Kraska, T., et al. (2018). The Case for Learned Index Structures. SIGMOD(神经计算进入系统内部的标志性工作).
  5. Horowitz, M. (2014). Computing's Energy Problem (and What We Can Do About It). ISSCC(「搬运比计算贵」的能耗视角).
  6. Patterson, D. A., & Hennessy, J. L. Computer Architecture: A Quantitative Approach(老三样的原点,仍值得整本重读的章节:功耗与 DSA).