导论:AI 时代的变与不变
WARNING
🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。
前面的板块里,我们一直在学「AI 本身」:机器学习 的算法、Transformer 的结构、世界模型 的想象。这个板块换一个方向:AI 作为改变者——它改写了软件开发的方式(软件工程),也倒逼计算机系统重新设计(计算机系统)。最后两条展望是我个人的判断,不是共识。
一、为什么 AI 笔记要讲工程与系统
一门技术的影响力,从来不只取决于它「能做什么」,还取决于两件事:
- 它好不好造——制造它的工程方法决定了它能多快、多便宜、多可靠地被生产出来;
- 它跑在什么上——承载它的底层系统决定了它的规模上限和成本下限。
AI 恰好在这两点上都处于剧烈变动期。写代码的主体正在从人变成人机协作甚至 Agent 自主循环;而训练和运行模型的机器,正在从「几块显卡」变成「以数据中心为单位的计算机」。这两场变化互相咬合:Agent 让软件生产提速,提速的软件又大多是在造更多的 AI 系统。
所以这个板块讲两件事:AI 如何改变软件工程,以及AI 如何重塑计算机系统。
二、三层框架:这个板块怎么拆
把「AI 时代」这个大词拆开,能看到三层不同性质的变化:
图解说明:第一层变得最快,工具每年一换,但人的判断力仍然主导;第二层以年为单位演进,受物理和经济学约束;第三层最慢也最深刻——一旦「模型是新的 CPU」这类抽象站稳,整个学科的课程表都要重排。本板块前两条线对应第一、二层,第三层在 LLM OS 和 展望 展开。
第一层:开发方式之变。 代码补全、对话式开发、Agent 自主循环,三阶段的实质是「人的输入从代码逐级抽象到意图」。软件工程线(从补全到 Agent、Agent 时代的实践)讲这条线。
第二层:系统栈之变。 训练一个前沿模型需要成千上万块加速器协同,推理服务要把延迟和吞吐同时做好——这些是老朋友:调度、内存、IO,只是换了尺度。系统线(训练与推理系统、从 GPU 到数据中心)讲这条线。
第三层:抽象之变。 当「调用模型」变得像「调用 CPU」一样自然,会涌现新的操作系统层。LLM OS 讲正在成形的类比,展望两章讲我对终局的猜测。
三、什么变了
| 维度 | AI 之前 | AI 时代 |
|---|---|---|
| 代码生产 | 人逐行写,机器执行 | 人定义意图与验收,Agent 生成大量代码 |
| 稀缺资源 | 程序员的实现时间 | 验证与判断的注意力;上下文窗口;算力与带宽 |
| 系统设计目标 | 通用负载的性价比 | 以 token 吞吐和延迟为先 |
| 硬件形态 | CPU 为中心,GPU 是外设 | 加速器为中心,CPU 是协调者 |
| 软件形态 | 确定性程序 | 确定性程序 + 神经网络(后者不可读、不可枚举测试) |
最后一行值得强调:Karpathy 把训练出来的神经网络权重称为 Software 2.0——它不是写出来的,而是「训」出来的;你无法逐行 review 一亿个参数,只能用数据集和指标去评价它。再加上用自然语言驱动的 Agent 编程(他后来称之为 Software 3.0 的雏形),软件的定义域正在从「代码」扩展到「代码 + 权重 + 提示词」。这个板块的许多话题,本质上是在问:当软件的形态变了,工程方法和系统设计要怎么跟着变?
四、什么没变
越是剧烈的变化期,越要看清不变量,否则判断会飘。至少这四件事没有变的迹象:
- 复杂度守恒。 工具消灭一类麻烦,必然在别处制造新的麻烦——自动生成的代码仍要有人理解、验证、维护。本质复杂度来自问题本身,不会因为生产工具变快而消失(不变的内功 专门讲这个)。
- 验证永远是瓶颈。 「能跑」和「正确」之间的鸿沟,过去靠类型、测试、审查去填,将来填的方式会变,但鸿沟本身只会更宽——生成越便宜,「确认对了」越贵。
- 物理定律不谈判。 内存带宽、芯片功耗、网络延迟、散热,这些约束塑造了整个系统线的内容(从 GPU 到数据中心)。
- 责任不能外包。 无论代码是谁(或什么)写的,出了事故承担后果的是人和组织。这条不变量会反过来塑造工具链(审计、沙箱、权限)。
五、怎么读这个板块
- 一线开发者:先读 从补全到 Agent 和 Agent 时代的实践,直接对应日常工作;
- 系统方向 / 基础设施工程师:直接进系统线,训练与推理系统 起步,配合 部署与推理 的操作细节食用;
- 想争论未来的人:直奔 我看未来的软件工程 和 我看未来的计算机系统,那是我的立场,欢迎来 Issue 反驳。
读完本章,软件工程线从 从补全到 Agent 开始,系统线从 训练与推理系统 开始。
参考
- Karpathy, A. (2017). Software 2.0. 个人博客。
- Karpathy, A. (2025). Software Is Changing (Again). 演讲。
- Barroso, L. A., & Hölzle, U. (2009). The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines. Morgan & Claypool.
- Brooks, F. (1986). No Silver Bullet — Essence and Accident in Software Engineering.