新的抽象:LLM OS 与 Agent 运行时
WARNING
🧪 Beta公测版本提示:教程主体已完成,正在优化细节,欢迎大家提Issue反馈问题或建议。
Karpathy 在 2024 年提出过一个愿景:LLM 正在成为新的 CPU,围绕它会长出一个新的操作系统层。本章认真对待这个类比——逐项对照 Unix 与「LLM OS」,看它照亮了什么、又在哪失效。这是本板块从「讲解」滑向「观点」的过渡章:类比不是结论,但好的类比能预测演化方向。
一、操作系统在历史上解决什么问题
先回忆操作系统为什么存在。裸机之上,操作系统用抽象 + 复用解决三件事:
- 资源复用:一个 CPU、一块内存,怎么同时服务成百上千个进程?——分时调度、虚拟内存;
- 接口统一:键盘、磁盘、网卡千差万别,怎么给程序一个统一的世界?——系统调用 + 文件 + 设备驱动;
- 隔离与保护:进程之间不能互相践踏,错误不能击穿系统——地址空间、权限环、沙箱。
现在看 Agent 时代的主机形态:一台(或一集群)昂贵的模型,有限的上下文窗口,一堆五花八门的工具(搜索、代码执行、数据库、浏览器),以及越来越多的并发任务。同样三件事原样回来了:复用、统一接口、隔离保护。 这就是「LLM OS」这个类比的分量所在——它不是修辞,是同一组工程问题的再现。
二、逐项对照:Unix vs LLM OS
| Unix | LLM OS | 说明 |
|---|---|---|
| CPU | LLM(推理中的模型) | 最贵的部件,所有任务竞争它 |
| RAM(内存) | 上下文窗口 | 稀缺的「工作内存」,装不下的等于不存在 |
| 磁盘 / 外存 | 检索库、文件、记忆(RAG、向量库、memory 文件) | 大而慢,按需调入 |
| 进程 | Agent(一个任务循环) | 独立的目标 + 自己的上下文 |
| 系统调用 | 工具调用 / function calling | 服务请求的统一入口,模型「陷入」外部世界 |
| 设备驱动 | 工具服务器 / MCP | 把异构工具适配成统一接口 |
| 调度器 | 编排器(router / orchestrator) | 决定哪个任务用哪个模型、何时挂起 |
| IPC(进程间通信) | Agent 间消息传递 | 子任务派发、结果回传 |
| shell | 对话界面 | 人与系统的主界面 |
| 权限 / 沙箱 | 审批门、文件范围、网络白名单 | 防止「进程」越权 |
图解说明:把这张图与 Unix 进程模型并排看:上下文窗口是 RAM(装不下就「页错误」——去检索外存);工具调用是系统调用;MCP 是驱动层;编排器是调度器。 dashed 的两条边是新东西:外存按需调入(RAG)和越权操作回人审批——后者在传统 OS 里对应用户态到内核态的确认,但这里审批的对象是语义(「这个操作该做吗」),而非机械的权限位。
三、上下文管理即内存管理
从补全到 Agent 讲过上下文工程;系统视角下,它就是内存管理——而且几乎每个经典概念都有对应物:
- 按需调页(demand paging) ↔ 检索(RAG)。 不把整本书塞进内存,用到哪页调哪页:先检索、后生成。检索器质量 = 缺页命中率,检索错了等于调错了页,后面全白算。工程细节见 RAG 与智能体。
- 交换与压缩(swap) ↔ 摘要。 内存吃紧时把冷数据压出去:长对话滚动摘要、历史归档成要点。压缩有损——摘掉的细节永远找不回来,这与 swap 又不一样,更像有损压缩的内存。
- 驻留集 ↔ 系统提示与规则文件。
AGENTS.md这类始终在窗口里的内容,相当于不许换出的页。它们占用宝贵的窗口,所以要短、要准——每个驻留 token 都在收「房租」。 - 访问局部性 ↔ lost in the middle。 长上下文的中间内容容易被忽略,相当于缓存的「冷区」。好的上下文排版把关键约束放在头尾——这不是玄学,是局部性原理的手工版。
一句话:上下文窗口是新的内存,而内存管理是操作系统最古老、最成熟的手艺。 Agent 框架里那些「记忆管理」「上下文压缩」功能,骨子里都在重发明虚拟内存。理解了这一点,看任何 Agent 产品的记忆设计都能一眼对上号。
四、Agent 运行时:权限、沙箱与工具协议
对照表的下半段——保护与接口——正在凝结成一类新软件:Agent 运行时(agent runtime)。
权限模型。 传统进程有权限环(ring 0/3)、 capabilities;Agent 的对应物是操作分级:读文件、跑测试可以默认放行;改工作区外的文件、发网络请求、花钱调 API,需要人点确认——就像手机系统的敏感权限弹窗。原则同源:最小权限,Agent 拿到的能力应该恰好覆盖任务,多一分都是风险。从补全到 Agent 第五节「哪些事不该交给 Agent」讲的是人侧的判断,运行时把这些判断做成机器侧的闸门。
沙箱。 Agent 生成的代码不该直接跑在你的机器上——正如来历不明的程序不该有 root。文件系统限定工作目录、网络白名单、资源限额、可随时回滚(版本控制就是 Agent 的 undo)。容器与虚拟机技术在这里无缝复用。
工具协议:MCP 是驱动模型。 工具千差万别(数据库、浏览器、内部 API),就像 80 年代的硬件设备。**MCP(Model Context Protocol)**这类协议做的是当年设备驱动标准化做的事:给所有工具一个统一的声明与调用接口,让「模型 + 任意工具」的组合从定制集成变成即插即用。协议本身不神——统一接口带来的生态网络效应才是重点,就像 USB 之于外设。
补充:多 Agent = 多进程 + IPC?(点击展开)
「多个 Agent 协作」的系统图,和操作系统的进程模型几乎可以重叠:主 Agent fork 出子 Agent(派发子任务),各自有独立上下文(地址空间隔离),通过消息回传结果(IPC),失败由监督者重启(supervisor,对应进程管理器 systemd 一类)。差别在于:进程间通信是精确的,Agent 间通信是自然语言——每一次「IPC」都有误解概率。所以多 Agent 系统的实际瓶颈往往不在编排,而在接口的语义精度:给子 Agent 的任务书越像 Agent 时代的实践 里说的「可测试的规格」,协作越可靠。操作系统用几十年学会了「进程间只通过窄接口通信」,Agent 系统正在重学这一课。
五、这个类比照亮什么,又在哪失效
照亮的:它给了我们一张地图。上下文管理抄内存管理,工具协议抄驱动模型,权限抄 capability,编排抄调度。遇到新问题先问「操作系统当年怎么办」,往往能省掉一轮盲目试错——本板块反复出现的主题(PagedAttention 抄虚拟内存分页、continuous batching 抄分时调度)都是这么发生的。
失效的(这部分重要,否则类比会变成教条):
- CPU 不会算错,模型会。 传统 OS 假设指令执行是精确的,故障是异常;LLM 的「执行」天生有错误率,可靠性工程从异常处理变成常态工程——重试、验证、多数表决是日常而非兜底。
- 调度对象不可抢占。 OS 可以随时打断一个进程;打断一个生成中的 Agent 意味着丢弃它的中间态(上下文里的隐性状态无法像寄存器那样完整保存)。所以「协作式调度」(Agent 主动汇报、主动让出)比「抢占式调度」现实得多。
- 成本模型倒挂。 CPU 周期近乎免费,token 很贵。传统 OS 为利用率优化,LLM OS 更要为每次调用的产出/成本比优化——什么时候用小模型、什么时候缓存生成结果,这些在传统 OS 里没有对应物。
- 状态的性质不同。 进程内存是私有的、可写的;模型的「主存」(权重)是全局只读的,可变状态全在上下文和外部文件里。这个差异目前只是事实,它的全部含义还没有被设计完——这是留给我 展望 的作业。
读完本章,系统线结束。两条线在此汇合:软件工程线说「生成便宜了,验证贵了」,系统线说「算力贵了,token 是新的指令」。下一站 我看未来的软件工程 和 我看未来的计算机系统——从这里开始是个人观点。
参考
- Karpathy, A. (2024). LLM OS 观点(X/Twitter 长帖)与 2025 年演讲 Software Is Changing (Again).
- Anthropic (2024). Model Context Protocol 规范文档.
- Tanenbaum, A. S., & Bos, H. (2014). Modern Operating Systems(进程、内存、IO 三章即本章全部类比的原点).
- Yao, S., et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR(Agent「行动—观察」循环的起点之一).
- Lewis, P., et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS(按需调页的「页源」).