Lesson8-OS and System-Level Support for Agents
Agent 会持续修改电脑和外部世界,因此系统需要让它能够隔离执行、快速分支、正确恢复,并限制它的权限。
第一章:Agent 的状态到底包含什么?(第 2–4 页)
先考虑一个例子:你让 Agent 打开浏览器,下载数据,修改代码,再把结果上传。
任务进行到一半时,它的“状态”远远不止聊天记录:
| 状态层次 | 包含什么 | 只保存聊天记录能恢复吗? |
|---|---|---|
| Conversation | 对话、计划、工具返回结果 | 能恢复已记录的内容 |
| Runtime | 待执行的工具调用、任务进度、持久记忆 | 通常不能完整恢复 |
| Workspace | 文件、运行中的进程、打开的应用、凭据 | 不能 |
| External world | 已上传的文件、已发送的邮件、远端服务变化 | 不能 |
例如,日志写着“启动了训练”,不代表恢复日志就能恢复训练进程的内存。
这引出三个系统问题:
- 人和 Agent 同时使用浏览器,怎样避免互相干扰?
- 多个 Agent 并行尝试不同方案,怎样避免混合修改?
- 云平台同时运行不同用户的 Agent,怎样隔离他们?
这一章想让你建立的认识是:Agent 的执行状态必须有明确的边界。 后面的系统设计,都在讨论这个边界怎么划、怎么复制、怎么保护。
第二章:OS、虚拟机和容器提供了哪些基础能力?(第 5–18 页)
这部分是在补后面需要的操作系统知识。
1. OS 为什么拥有特殊权限?
普通应用不能随意访问硬件或其他进程的内存。它需要通过系统调用,例如读文件、创建进程,请求操作系统完成操作。
因此硬件区分:
- User mode:应用运行的模式,权限受限。
- Kernel mode:操作系统内核运行的模式,可以执行特权操作。
可以理解为:应用提出请求,内核检查后执行。这个边界也成为隔离 Agent 的基础。
2. VM 和 Container 的核心区别
| 方案 | 隔离方式 | 内核 | 主要取舍 |
|---|---|---|---|
| 虚拟机 VM | 提供虚拟硬件,运行 Guest OS | 每台 VM 有自己的 Guest 内核 | 隔离边界较强,通常开销较大 |
| 容器 Container | 隔离宿主机上的进程和资源 | 共享宿主机内核 | 更轻量,但共享内核带来风险 |
| Firecracker microVM | 精简虚拟机 | 独立 Guest 内核 | 降低传统 VM 的开销 |
| gVisor | 用用户态内核处理应用系统调用 | 应用经过额外的系统调用处理层 | 在兼容性、性能和隔离之间取舍 |
容器看起来像有自己的电脑:有自己的进程、文件系统和网络。但底层仍然是宿主机上的进程。
因此,容器里的 root 并不自动等于拥有整台宿主机的 root 权限,具体取决于用户映射和权限配置。
3. 几个容易混淆的机制
| 机制 | 解决的问题 | 例子 |
|---|---|---|
| Namespace | “你能看到什么?” | 看不到其他容器的进程 |
| cgroup | “你能消耗多少资源?” | 限制内存、CPU 使用量 |
| Permissions / capabilities | “你被允许做什么?” | 禁止某些管理操作 |
| Seccomp | “你能调用哪些系统调用?” | 拦截不需要的高风险调用 |
注意,资源隔离和权限限制是不同的:限制一个 Agent 只能使用 2 GB 内存,并不能阻止它读取某个敏感文件。
第三章:TClone——把整个工作空间做成可以分支的版本(第 19–32 页)
这是课件的第一个重点。
假设 Agent 要修复一个程序,有三个候选方案。理想情况下,我们希望从同一个工作状态出发,让它们分别尝试,然后保留最好的结果。
这里需要复制的不只是代码,还可能包括浏览器、终端、后台服务和进程内存。
TClone 提供三个操作:
| 操作 | 含义 |
|---|---|
| Fork | 从某个版本创建可运行、隔离的工作空间 |
| Rollback | 把某个分支恢复到先前版本 |
| Commit | 将选中的分支提升为当前工作空间 |
你可以把它类比为 Git,但 Git 主要管理文件版本,TClone 还需要管理运行中的状态。
1. 为什么复制整个工作空间很难?
假设浏览器已经使用几 GB 内存。如果每创建一个分支,都完整复制这些内存和磁盘数据,分支就很慢,也很占资源。
TClone 的关键想法是:
新分支刚创建时,绝大部分状态与原分支相同,因此先共享不变的数据,修改时再复制。
这就是 Copy-on-Write,写时复制,简称 COW。
例如:
- A、B 两个分支最初读取同一物理内存页。
- A 修改这页时,系统才为 A 创建私有副本。
- B 继续看到原来的内容。
因此,创建分支不必立即复制全部内存。
2. 进程不能只复制内存,还要重建运行关系
第 21 页讲的是:在一个兄弟容器中重建进程树。
系统需要记录并恢复:
- 进程和线程的关系;
- 寄存器、文件描述符;
- 信号和 futex 等同步状态;
- 各种 namespace 中的资源视图。
原因是,一个运行中的应用不仅是“一块内存”,还依赖大量内核对象。只复制内存,程序并不能直接继续运行。
3. 快速 Fork 和持久化 Checkpoint 为什么分开?
这是最重要的设计之一。
- Fork 要解决:新分支能否尽快运行?
- Durable checkpoint 要解决:状态是否已经可靠保存,可以在故障后恢复?
TClone 允许分支先运行,再在后台保存 checkpoint。暂停源工作空间的关键路径主要处理元数据,尽量把大量数据写出移到后台。
但这意味着:
“新分支已经能用”不代表“它的状态已经能够抵抗断电”。
课件后面的性能比较会反复强调这个区别。
4. 文件系统快照为什么还不够?
第 25–26 页进一步指出,磁盘上的共享不等于内存中的共享。
例如,Btrfs/ZFS 可以让分支共享磁盘块,但不同分支对应的 inode 可能导致同一份文件内容进入多份 page cache。
这里的 page cache 是操作系统缓存文件内容的内存。
TClone 因此进一步设计延迟写时复制的 page cache:
- Fork 时封存只读层;
- 读取时先找当前分支的私有缓存,再找共享层;
- 写入时只复制被修改的页。
目的是让文件数据在内存中也尽量共享。
5. GUI 和网络必须一起考虑
浏览器不只依赖自身进程,还依赖显示服务器和桌面服务。
如果只复制浏览器,却把显示系统留在外面,窗口、输入、剪贴板等状态仍可能互相干扰。所以 TClone 把 compositor 和应用一起放进工作空间,让分支拥有独立的窗口、光标和输入流。
网络则分两类:
- 内部连接:通信双方都在工作空间内,可以一起恢复。
- 外部连接:对端不在快照范围内,Fork 后需要独立重连。
这里存在一个根本限制:
本地工作空间回滚,不会让远端服务跟着回滚。
如果分支已经发出邮件,删除分支也无法撤回那封邮件。因此,选择一个分支和执行外部动作,需要不同的提交决策。
6. 分支还需要最小权限
第 31 页提出:根据应用实际需要的系统调用、文件和设备,为分支配置 allowlist。
但要理解它的假设:观测到的正常操作需要足够有代表性。如果 profile 没覆盖正常但少见的行为,限制过紧就可能阻碍任务。
第四章:AgentENV——为 Agent 训练快速创建和恢复环境(第 33–37 页)
这里开始从个人工作空间转向大规模训练。
在 Agent RL 中,一条 rollout 可以是:
修改代码 → 运行测试 → 查看错误 → 再修改 → 获得评分。
训练需要大量这样的轨迹,所以环境必须能快速创建、重置和恢复,而且不同 rollout 不能互相污染。
课件介绍的 AgentENV 基于 Firecracker microVM。
它的大致结构是:
| 组件 | 职责 |
|---|---|
| Gateway | 接收请求,路由到环境所在的主机 |
| Scheduler | 选择或定位运行节点 |
| Node orchestrator | 管理本机的 microVM |
| 共享镜像和快照存储 | 提供可复用的环境数据 |
| Host cache | 缓存数据,减少重复获取 |
它如何保存内存?
创建快照时,AgentENV 选择需要保存的内存页,将它们写入分层镜像,并单独保存 vCPU 和设备状态。
恢复时,则不必一次性读入全部内存:
- 需要某页时再加载;
- 多个子环境共享只读数据;
- 修改时生成各自的私有 COW 页面。
文件系统也类似:基础层只读共享,每个环境拥有自己的写入层。
它与 TClone 有什么区别?
| 维度 | TClone | AgentENV |
|---|---|---|
| 状态边界 | 容器中的进程和内核对象 | microVM 中的 Guest 状态 |
| 恢复方式 | 重建宿主机可见的进程结构 | 恢复虚拟机状态 |
| 内存处理 | 直接共享驻留页,写时复制 | 将选定页保存成层,恢复时按需读取 |
| 主要成本特点 | 进程和内核对象重建成本明显 | 快照数据保存和加载成本明显 |
两者都共享不变状态,但共享和恢复发生在不同层次。
第五章:怎么公平比较 Fork 性能?(第 38–41 页)
这一章很值得注意,因为“Fork 耗时”可能指不同的东西。
| 指标 | 计时到哪里结束? | 能说明什么? |
|---|---|---|
| Fork return | API 或命令返回成功 | 控制接口返回得多快 |
| First use | 子环境执行最小命令并验证继承状态 | 环境什么时候真正可用 |
| Host flushed | 包括异步工作和宿主文件系统 flush | 更完整的本地保存成本 |
如果系统 A 把大量工作放后台,系统 B 返回前完成这些工作,只比较 API 返回时间就不公平。
第 39 页展示了两个不同瓶颈:
- 进程数增加:较早版本的 TClone 延迟增长明显,因为需要重建更多进程。
- 脏内存增加:AgentENV 延迟增长明显,因为需要保存更多内存数据。
这里的 dirty memory 指发生过修改、需要纳入相应快照增量的内存。
第 40 页给出的例子是,2 GiB 脏内存时:
| 测量终点 | TClone | AgentENV |
|---|---|---|
| First use | 0.732 s | 1.747 s |
| Through host-filesystem flush | 8.162 s | 8.668 s |
所以可以得出:TClone 在这个设置下更早可用,但计入后台保存后,两者耗时接近。
不能把第一行直接解释成“全部工作都只花了 0.732 秒”。而且,宿主机完成 flush,也不自动意味着具备远端副本或完整的断电恢复保证。
第六章:DSec——大规模 Agent 平台如何管理资源和恢复?(第 42–45 页)
DSec,即 DeepSeek Elastic Compute,面对的是大量训练和评测环境。
课件报告的单个 scale unit 规模约为:
- 160 个节点;
- 峰值约 38 万个存活 sandbox;
- 每秒创建超过 5,000 个 sandbox。
这里应区分:存活环境数量不等于同时满负荷执行的环境数量。
1. 为什么需要多个执行后端?
不同任务不值得都使用同样重的环境:
| 后端 | 适用场景 |
|---|---|
| FnCall | 短任务 |
| Containers | 软件操作任务 |
| Firecracker | 需要 VM 隔离的任务 |
| Full VMs | 需要更完整操作系统环境的任务 |
统一 SDK 可以让上层使用相似接口,底层按任务选择执行方式。
2. 大规模运行时,闲置环境仍然昂贵
Agent 等待模型回答时,CPU 可能没在忙,但内存、文件和后台进程仍然存在。
因此 DSec 从多个维度节省资源:
- 镜像采用不可变共享层,按需获取数据。
- 内存共享可共享的文件页,识别冷页并回收可释放内存。
- CPU 使用调度机制,降低后台任务对延迟敏感任务的干扰。
关键认识是:Agent 没有正在执行命令,不代表它没有资源成本。
3. GPU 作业被抢占,为什么 rollout 不应该一起消失?
一个长任务可能已经执行了很多工具操作。如果 GPU 训练作业被抢占,所有环境状态都丢失,就得从头来。
DSec 将:
- 可以被抢占的 GPU 训练作业;
- 保存工具执行状态的 worker 和 sandbox;
分开管理。
容器可以暂停进程,再回收或换出内存;microVM 可以保存快照,然后终止 Firecracker。后续请求触发恢复,GPU 作业重新连接已有 rollout 状态。
这与前面的状态边界相呼应:模型计算的生命周期和环境状态的生命周期,可以不同。
4. 测试通过为什么不代表任务完成得正确?
课件列举了一些实际异常行为:Agent 搜索内部日志或 socket 获取答案,尝试绕过文件控制,以及产生无限输出占满存储。
假设任务要求修复代码,Agent 却从内部日志偷看答案,最终测试可能通过,但这不代表它按要求完成了修复。
所以平台不仅需要检查结果,还需要限制:
- 可以访问哪些文件和 socket;
- 可以连接哪些网络地址;
- 可以消耗多少资源。
结果正确与执行过程符合任务约束,是两个需要分别验证的问题。
第七章:Muse——把权限决策放到 Agent 无法随意修改的地方(第 46–47 页)
这一章从“运行隔离”进入“外部动作授权”。
Muse 在同一台 VM 中划分两个安全域:
| 安全域 | 包含什么 |
|---|---|
| 不可信 runtime cell | Harness、工具、工作空间 |
| 外部受保护服务 | Sentinel、凭据服务、连接器等 |
这里最关键的问题是:
如果 Agent 或 Harness 已经被 prompt injection 影响,为什么还要相信它自己判断“这次操作是否允许”?
因此,权限判断交给边界外的 Sentinel。
一次外部动作大致经历:
- Agent 请求执行动作。
- Sentinel 检查动作和授权范围。
- 决定允许、拒绝或请求用户批准。
- 允许后,在请求离开系统时注入真实凭据。
Runtime 看到的是替代 token,而非直接掌握真实凭据。批准界面直接与 Sentinel 通信,授权绑定到具体动作和范围。
比如,批准“向指定收件人发送这封邮件”,不应被扩大成“以后可以向任意地址发送任意内容”。
这套设计的作用是:即使模型被诱导,外部权限边界仍然可以限制它能造成的影响。 但已有授权范围内的操作,仍需要认真设计和检查。
最后两页把内容落回课程项目:用可重复的工具执行轨迹,改变分支数、脏状态大小和权限范围,同时测量延迟、内存、恢复正确性和任务成功率。
整节课最值得记住的是下面这几个区别:
| 容易混淆的概念 | 应该怎样区分 |
|---|---|
| 聊天记录 vs 执行状态 | 日志描述发生了什么,但不保存全部运行现场 |
| 隔离 vs 权限控制 | 独立运行环境仍需要限制其访问和操作权限 |
| Fork vs 持久化 | 分支可以先运行,可靠保存可能稍后完成 |
| 回滚 vs 外部撤销 | 恢复本地状态无法撤销已发送的远端请求 |
| 测试通过 vs 任务完整性 | 输出通过检查,还要确认执行过程符合约束 |