Skip to content

导论:AI 时代的变与不变 ​

WARNING

🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。

前面的板块里,我们一直在学「AI 本身」:机器学习 的算法、Transformer 的结构、世界模型 的想象。这个板块换一个方向:AI 作为改变者——它改写了软件开发的方式(软件工程),也倒逼计算机系统重新设计(计算机系统)。最后两条展望是我个人的判断,不是共识。


一、为什么 AI 笔记要讲工程与系统 ​

一门技术的影响力,从来不只取决于它「能做什么」,还取决于两件事:

  1. 它好不好造——制造它的工程方法决定了它能多快、多便宜、多可靠地被生产出来;
  2. 它跑在什么上——承载它的底层系统决定了它的规模上限和成本下限。

AI 恰好在这两点上都处于剧烈变动期。写代码的主体正在从人变成人机协作甚至 Agent 自主循环;而训练和运行模型的机器,正在从「几块显卡」变成「以数据中心为单位的计算机」。这两场变化互相咬合:Agent 让软件生产提速,提速的软件又大多是在造更多的 AI 系统。

所以这个板块讲两件事:AI 如何改变软件工程,以及AI 如何重塑计算机系统。


二、三层框架:这个板块怎么拆 ​

把「AI 时代」这个大词拆开,能看到三层不同性质的变化:

图解说明:第一层变得最快,工具每年一换,但人的判断力仍然主导;第二层以年为单位演进,受物理和经济学约束;第三层最慢也最深刻——一旦「模型是新的 CPU」这类抽象站稳,整个学科的课程表都要重排。本板块前两条线对应第一、二层,第三层在 LLM OS 和 展望 展开。

第一层:开发方式之变。 代码补全、对话式开发、Agent 自主循环,三阶段的实质是「人的输入从代码逐级抽象到意图」。软件工程线(从补全到 Agent、Agent 时代的实践)讲这条线。

第二层:系统栈之变。 训练一个前沿模型需要成千上万块加速器协同,推理服务要把延迟和吞吐同时做好——这些是老朋友:调度、内存、IO,只是换了尺度。系统线(训练与推理系统、从 GPU 到数据中心)讲这条线。

第三层:抽象之变。 当「调用模型」变得像「调用 CPU」一样自然,会涌现新的操作系统层。LLM OS 讲正在成形的类比,展望两章讲我对终局的猜测。


三、什么变了 ​

维度AI 之前AI 时代
代码生产人逐行写,机器执行人定义意图与验收,Agent 生成大量代码
稀缺资源程序员的实现时间验证与判断的注意力;上下文窗口;算力与带宽
系统设计目标通用负载的性价比以 token 吞吐和延迟为先
硬件形态CPU 为中心,GPU 是外设加速器为中心,CPU 是协调者
软件形态确定性程序确定性程序 + 神经网络(后者不可读、不可枚举测试)

最后一行值得强调:Karpathy 把训练出来的神经网络权重称为 Software 2.0——它不是写出来的,而是「训」出来的;你无法逐行 review 一亿个参数,只能用数据集和指标去评价它。再加上用自然语言驱动的 Agent 编程(他后来称之为 Software 3.0 的雏形),软件的定义域正在从「代码」扩展到「代码 + 权重 + 提示词」。这个板块的许多话题,本质上是在问:当软件的形态变了,工程方法和系统设计要怎么跟着变?


四、什么没变 ​

越是剧烈的变化期,越要看清不变量,否则判断会飘。至少这四件事没有变的迹象:

  1. 复杂度守恒。 工具消灭一类麻烦,必然在别处制造新的麻烦——自动生成的代码仍要有人理解、验证、维护。本质复杂度来自问题本身,不会因为生产工具变快而消失(不变的内功 专门讲这个)。
  2. 验证永远是瓶颈。 「能跑」和「正确」之间的鸿沟,过去靠类型、测试、审查去填,将来填的方式会变,但鸿沟本身只会更宽——生成越便宜,「确认对了」越贵。
  3. 物理定律不谈判。 内存带宽、芯片功耗、网络延迟、散热,这些约束塑造了整个系统线的内容(从 GPU 到数据中心)。
  4. 责任不能外包。 无论代码是谁(或什么)写的,出了事故承担后果的是人和组织。这条不变量会反过来塑造工具链(审计、沙箱、权限)。

五、怎么读这个板块 ​

读完本章,软件工程线从 从补全到 Agent 开始,系统线从 训练与推理系统 开始。

参考 ​

  1. Karpathy, A. (2017). Software 2.0. 个人博客。
  2. Karpathy, A. (2025). Software Is Changing (Again). 演讲。
  3. Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines. Morgan & Claypool.
  4. Brooks, F. (1986). No Silver Bullet — Essence and Accident in Software Engineering.