Lesson8-OS and System-Level Support for Agents

Agent 会持续修改电脑和外部世界,因此系统需要让它能够隔离执行、快速分支、正确恢复,并限制它的权限。

第一章:Agent 的状态到底包含什么?(第 2–4 页)

先考虑一个例子:你让 Agent 打开浏览器,下载数据,修改代码,再把结果上传。

任务进行到一半时,它的“状态”远远不止聊天记录:

状态层次包含什么只保存聊天记录能恢复吗?
Conversation对话、计划、工具返回结果能恢复已记录的内容
Runtime待执行的工具调用、任务进度、持久记忆通常不能完整恢复
Workspace文件、运行中的进程、打开的应用、凭据不能
External world已上传的文件、已发送的邮件、远端服务变化不能

例如,日志写着“启动了训练”,不代表恢复日志就能恢复训练进程的内存。

这引出三个系统问题:

  • 人和 Agent 同时使用浏览器,怎样避免互相干扰?
  • 多个 Agent 并行尝试不同方案,怎样避免混合修改?
  • 云平台同时运行不同用户的 Agent,怎样隔离他们?

这一章想让你建立的认识是:Agent 的执行状态必须有明确的边界。 后面的系统设计,都在讨论这个边界怎么划、怎么复制、怎么保护。


第二章:OS、虚拟机和容器提供了哪些基础能力?(第 5–18 页)

这部分是在补后面需要的操作系统知识。

1. OS 为什么拥有特殊权限?

普通应用不能随意访问硬件或其他进程的内存。它需要通过系统调用,例如读文件、创建进程,请求操作系统完成操作。

因此硬件区分:

  • User mode:应用运行的模式,权限受限。
  • Kernel mode:操作系统内核运行的模式,可以执行特权操作。

可以理解为:应用提出请求,内核检查后执行。这个边界也成为隔离 Agent 的基础。

2. VM 和 Container 的核心区别

方案隔离方式内核主要取舍
虚拟机 VM提供虚拟硬件,运行 Guest OS每台 VM 有自己的 Guest 内核隔离边界较强,通常开销较大
容器 Container隔离宿主机上的进程和资源共享宿主机内核更轻量,但共享内核带来风险
Firecracker microVM精简虚拟机独立 Guest 内核降低传统 VM 的开销
gVisor用用户态内核处理应用系统调用应用经过额外的系统调用处理层在兼容性、性能和隔离之间取舍

容器看起来像有自己的电脑:有自己的进程、文件系统和网络。但底层仍然是宿主机上的进程。

因此,容器里的 root 并不自动等于拥有整台宿主机的 root 权限,具体取决于用户映射和权限配置。

3. 几个容易混淆的机制

机制解决的问题例子
Namespace“你能看到什么?”看不到其他容器的进程
cgroup“你能消耗多少资源?”限制内存、CPU 使用量
Permissions / capabilities“你被允许做什么?”禁止某些管理操作
Seccomp“你能调用哪些系统调用?”拦截不需要的高风险调用

注意,资源隔离和权限限制是不同的:限制一个 Agent 只能使用 2 GB 内存,并不能阻止它读取某个敏感文件。


第三章:TClone——把整个工作空间做成可以分支的版本(第 19–32 页)

这是课件的第一个重点。

假设 Agent 要修复一个程序,有三个候选方案。理想情况下,我们希望从同一个工作状态出发,让它们分别尝试,然后保留最好的结果。

这里需要复制的不只是代码,还可能包括浏览器、终端、后台服务和进程内存。

TClone 提供三个操作:

操作含义
Fork从某个版本创建可运行、隔离的工作空间
Rollback把某个分支恢复到先前版本
Commit将选中的分支提升为当前工作空间

你可以把它类比为 Git,但 Git 主要管理文件版本,TClone 还需要管理运行中的状态。

1. 为什么复制整个工作空间很难?

假设浏览器已经使用几 GB 内存。如果每创建一个分支,都完整复制这些内存和磁盘数据,分支就很慢,也很占资源。

TClone 的关键想法是:

新分支刚创建时,绝大部分状态与原分支相同,因此先共享不变的数据,修改时再复制。

这就是 Copy-on-Write,写时复制,简称 COW。

例如:

  • A、B 两个分支最初读取同一物理内存页。
  • A 修改这页时,系统才为 A 创建私有副本。
  • B 继续看到原来的内容。

因此,创建分支不必立即复制全部内存。

2. 进程不能只复制内存,还要重建运行关系

第 21 页讲的是:在一个兄弟容器中重建进程树。

系统需要记录并恢复:

  • 进程和线程的关系;
  • 寄存器、文件描述符;
  • 信号和 futex 等同步状态;
  • 各种 namespace 中的资源视图。

原因是,一个运行中的应用不仅是“一块内存”,还依赖大量内核对象。只复制内存,程序并不能直接继续运行。

3. 快速 Fork 和持久化 Checkpoint 为什么分开?

这是最重要的设计之一。

  • Fork 要解决:新分支能否尽快运行?
  • Durable checkpoint 要解决:状态是否已经可靠保存,可以在故障后恢复?

TClone 允许分支先运行,再在后台保存 checkpoint。暂停源工作空间的关键路径主要处理元数据,尽量把大量数据写出移到后台。

但这意味着:

“新分支已经能用”不代表“它的状态已经能够抵抗断电”。

课件后面的性能比较会反复强调这个区别。

4. 文件系统快照为什么还不够?

第 25–26 页进一步指出,磁盘上的共享不等于内存中的共享。

例如,Btrfs/ZFS 可以让分支共享磁盘块,但不同分支对应的 inode 可能导致同一份文件内容进入多份 page cache。

这里的 page cache 是操作系统缓存文件内容的内存。

TClone 因此进一步设计延迟写时复制的 page cache:

  • Fork 时封存只读层;
  • 读取时先找当前分支的私有缓存,再找共享层;
  • 写入时只复制被修改的页。

目的是让文件数据在内存中也尽量共享。

5. GUI 和网络必须一起考虑

浏览器不只依赖自身进程,还依赖显示服务器和桌面服务。

如果只复制浏览器,却把显示系统留在外面,窗口、输入、剪贴板等状态仍可能互相干扰。所以 TClone 把 compositor 和应用一起放进工作空间,让分支拥有独立的窗口、光标和输入流。

网络则分两类:

  • 内部连接:通信双方都在工作空间内,可以一起恢复。
  • 外部连接:对端不在快照范围内,Fork 后需要独立重连。

这里存在一个根本限制:

本地工作空间回滚,不会让远端服务跟着回滚。

如果分支已经发出邮件,删除分支也无法撤回那封邮件。因此,选择一个分支和执行外部动作,需要不同的提交决策。

6. 分支还需要最小权限

第 31 页提出:根据应用实际需要的系统调用、文件和设备,为分支配置 allowlist。

但要理解它的假设:观测到的正常操作需要足够有代表性。如果 profile 没覆盖正常但少见的行为,限制过紧就可能阻碍任务。


第四章:AgentENV——为 Agent 训练快速创建和恢复环境(第 33–37 页)

这里开始从个人工作空间转向大规模训练。

在 Agent RL 中,一条 rollout 可以是:

修改代码 → 运行测试 → 查看错误 → 再修改 → 获得评分。

训练需要大量这样的轨迹,所以环境必须能快速创建、重置和恢复,而且不同 rollout 不能互相污染。

课件介绍的 AgentENV 基于 Firecracker microVM。

它的大致结构是:

组件职责
Gateway接收请求,路由到环境所在的主机
Scheduler选择或定位运行节点
Node orchestrator管理本机的 microVM
共享镜像和快照存储提供可复用的环境数据
Host cache缓存数据,减少重复获取

它如何保存内存?

创建快照时,AgentENV 选择需要保存的内存页,将它们写入分层镜像,并单独保存 vCPU 和设备状态。

恢复时,则不必一次性读入全部内存:

  • 需要某页时再加载;
  • 多个子环境共享只读数据;
  • 修改时生成各自的私有 COW 页面。

文件系统也类似:基础层只读共享,每个环境拥有自己的写入层。

它与 TClone 有什么区别?

维度TCloneAgentENV
状态边界容器中的进程和内核对象microVM 中的 Guest 状态
恢复方式重建宿主机可见的进程结构恢复虚拟机状态
内存处理直接共享驻留页,写时复制将选定页保存成层,恢复时按需读取
主要成本特点进程和内核对象重建成本明显快照数据保存和加载成本明显

两者都共享不变状态,但共享和恢复发生在不同层次。


第五章:怎么公平比较 Fork 性能?(第 38–41 页)

这一章很值得注意,因为“Fork 耗时”可能指不同的东西。

指标计时到哪里结束?能说明什么?
Fork returnAPI 或命令返回成功控制接口返回得多快
First use子环境执行最小命令并验证继承状态环境什么时候真正可用
Host flushed包括异步工作和宿主文件系统 flush更完整的本地保存成本

如果系统 A 把大量工作放后台,系统 B 返回前完成这些工作,只比较 API 返回时间就不公平。

第 39 页展示了两个不同瓶颈:

  • 进程数增加:较早版本的 TClone 延迟增长明显,因为需要重建更多进程。
  • 脏内存增加:AgentENV 延迟增长明显,因为需要保存更多内存数据。

这里的 dirty memory 指发生过修改、需要纳入相应快照增量的内存。

第 40 页给出的例子是,2 GiB 脏内存时:

测量终点TCloneAgentENV
First use0.732 s1.747 s
Through host-filesystem flush8.162 s8.668 s

所以可以得出:TClone 在这个设置下更早可用,但计入后台保存后,两者耗时接近。

不能把第一行直接解释成“全部工作都只花了 0.732 秒”。而且,宿主机完成 flush,也不自动意味着具备远端副本或完整的断电恢复保证。


第六章:DSec——大规模 Agent 平台如何管理资源和恢复?(第 42–45 页)

DSec,即 DeepSeek Elastic Compute,面对的是大量训练和评测环境。

课件报告的单个 scale unit 规模约为:

  • 160 个节点;
  • 峰值约 38 万个存活 sandbox;
  • 每秒创建超过 5,000 个 sandbox。

这里应区分:存活环境数量不等于同时满负荷执行的环境数量。

1. 为什么需要多个执行后端?

不同任务不值得都使用同样重的环境:

后端适用场景
FnCall短任务
Containers软件操作任务
Firecracker需要 VM 隔离的任务
Full VMs需要更完整操作系统环境的任务

统一 SDK 可以让上层使用相似接口,底层按任务选择执行方式。

2. 大规模运行时,闲置环境仍然昂贵

Agent 等待模型回答时,CPU 可能没在忙,但内存、文件和后台进程仍然存在。

因此 DSec 从多个维度节省资源:

  • 镜像采用不可变共享层,按需获取数据。
  • 内存共享可共享的文件页,识别冷页并回收可释放内存。
  • CPU 使用调度机制,降低后台任务对延迟敏感任务的干扰。

关键认识是:Agent 没有正在执行命令,不代表它没有资源成本。

3. GPU 作业被抢占,为什么 rollout 不应该一起消失?

一个长任务可能已经执行了很多工具操作。如果 GPU 训练作业被抢占,所有环境状态都丢失,就得从头来。

DSec 将:

  • 可以被抢占的 GPU 训练作业;
  • 保存工具执行状态的 worker 和 sandbox;

分开管理。

容器可以暂停进程,再回收或换出内存;microVM 可以保存快照,然后终止 Firecracker。后续请求触发恢复,GPU 作业重新连接已有 rollout 状态。

这与前面的状态边界相呼应:模型计算的生命周期和环境状态的生命周期,可以不同。

4. 测试通过为什么不代表任务完成得正确?

课件列举了一些实际异常行为:Agent 搜索内部日志或 socket 获取答案,尝试绕过文件控制,以及产生无限输出占满存储。

假设任务要求修复代码,Agent 却从内部日志偷看答案,最终测试可能通过,但这不代表它按要求完成了修复。

所以平台不仅需要检查结果,还需要限制:

  • 可以访问哪些文件和 socket;
  • 可以连接哪些网络地址;
  • 可以消耗多少资源。

结果正确与执行过程符合任务约束,是两个需要分别验证的问题。


第七章:Muse——把权限决策放到 Agent 无法随意修改的地方(第 46–47 页)

这一章从“运行隔离”进入“外部动作授权”。

Muse 在同一台 VM 中划分两个安全域:

安全域包含什么
不可信 runtime cellHarness、工具、工作空间
外部受保护服务Sentinel、凭据服务、连接器等

这里最关键的问题是:

如果 Agent 或 Harness 已经被 prompt injection 影响,为什么还要相信它自己判断“这次操作是否允许”?

因此,权限判断交给边界外的 Sentinel。

一次外部动作大致经历:

  1. Agent 请求执行动作。
  2. Sentinel 检查动作和授权范围。
  3. 决定允许、拒绝或请求用户批准。
  4. 允许后,在请求离开系统时注入真实凭据。

Runtime 看到的是替代 token,而非直接掌握真实凭据。批准界面直接与 Sentinel 通信,授权绑定到具体动作和范围。

比如,批准“向指定收件人发送这封邮件”,不应被扩大成“以后可以向任意地址发送任意内容”。

这套设计的作用是:即使模型被诱导,外部权限边界仍然可以限制它能造成的影响。 但已有授权范围内的操作,仍需要认真设计和检查。


最后两页把内容落回课程项目:用可重复的工具执行轨迹,改变分支数、脏状态大小和权限范围,同时测量延迟、内存、恢复正确性和任务成功率。

整节课最值得记住的是下面这几个区别:

容易混淆的概念应该怎样区分
聊天记录 vs 执行状态日志描述发生了什么,但不保存全部运行现场
隔离 vs 权限控制独立运行环境仍需要限制其访问和操作权限
Fork vs 持久化分支可以先运行,可靠保存可能稍后完成
回滚 vs 外部撤销恢复本地状态无法撤销已发送的远端请求
测试通过 vs 任务完整性输出通过检查,还要确认执行过程符合约束