Lesson12-Retrieval and Knowledge Infrastructure
这节课的主题是 Retrieval and Knowledge Infrastructure(检索与知识基础设施)。核心问题是 怎样让 LLM 找到合适的外部知识,并在回答质量、延迟和资源开销之间取得平衡?
第一章:RAG 的基本流程与知识库建设(p3–4)
RAG = Retrieval-Augmented Generation,检索增强生成。
模型收到问题后,先从知识库中找到相关材料,再结合这些材料生成回答。例如,问“学校的报销政策是什么”,系统先找相关政策文档,再让 LLM 根据文档作答。
这里有两个阶段:
| 阶段 | 主要操作 | 什么时候发生 |
|---|---|---|
| Ingestion:知识入库 | 解析文档 → 切分 chunks → 计算 embeddings → 保存文本和元数据 → 建立索引 | 文档加入或更新时 |
| Online query:在线查询 | 编码问题 → 检索 → 可选 reranking → 组织 prompt → LLM 生成 | 用户提问时 |
需要理解的是:RAG 不只是“向量数据库 + LLM”。 文档解析、版本管理、检索、排序和 prompt 组织都会影响最终结果。
例如,政策已经更新,但索引仍指向旧版本,即使 LLM 完全按照检索材料回答,答案也可能过时。
第二章:如何高效地检索知识(p5–9)
这一部分分成两个层次:用什么信号判断相关,以及怎样快速找到相关内容。
1. Lexical、Dense 和 Hybrid retrieval(p5)
| 方法 | 如何判断相关 | 适合什么问题 |
|---|---|---|
| Lexical retrieval,如 BM25 | 词语是否匹配 | 人名、编号、错误代码 |
| Dense retrieval | embedding 是否相近 | 表述不同但语义相似的问题 |
| Hybrid retrieval | 结合词语与语义信号 | 同时需要精确匹配和语义理解 |
例如:
- 搜索
ERR_CONNECTION_RESET,精确词语匹配很重要。 - 搜索“为什么连接总是断开”,语义检索更容易匹配到不同措辞的解释。
Hybrid 需要进行两种搜索并融合结果,因此它也带来额外工作。
2. 为什么需要向量索引(p6)
假设有 1,000 万个 chunks,每个 embedding 有 768 维,使用 FP32:
[ 10^7 \times 768 \times 4 = 30.72\ \text{GB} ]
这还只是向量本身,没算文本、元数据和索引。
如果每次查询都扫描所有向量,计算和内存带宽开销都很大。因此会使用 ANN(Approximate Nearest Neighbor,近似最近邻):减少搜索工作,代价是可能漏掉真正最相近的向量。
3. HNSW 与 IVF(p7–8)
| 索引 | 直观理解 | 提高召回率的方法 | 主要代价 |
|---|---|---|---|
| HNSW | 沿着多层邻居图,先定位大致区域,再细找 | 探索更多候选节点 | 图占内存,访问不规则 |
| IVF | 先把向量分组,只搜索最相关的几个组 | 增大 nprobe,搜索更多组 | 扫描更多向量 |
HNSW 像沿着路网找目标;IVF 像先确定几个可能的区域,再在区域内部搜索。
两者共同的权衡都是:
搜索越充分,通常召回率越高,但查询开销也越大。
4. Retrieval 和 Reranking 分别做什么(p9)
Retriever 负责快速找出候选,reranker 再更仔细地评估问题与每个候选是否相关。
PPT 的例子是:
检索 100 个候选 → 重排这 100 个 → 把最好的 8 个交给 LLM。
这里要区分两个数量:检索候选数和最终进入 prompt 的 chunk 数。前者主要影响搜索和重排成本,后者直接影响 LLM 的输入成本。
第三章:缓存、切块与生成方式(p10–14)
这一章说明:找到材料之后,如何使用材料,同样是系统设计问题。
1. Cache 能省什么,又什么时候失效(p10)
| 缓存对象 | 节省的工作 | 需要注意的变化 |
|---|---|---|
| Query embedding | 问题编码 | 问题、embedding 模型 |
| Retrieved results | 搜索和文档获取 | 文档版本、过滤条件、权限 |
| Prompt-prefix KV | 重复的 prefill | token 前缀、模型状态 |
| Generated answer | 大部分回答流程 | 证据更新、任务含义变化 |
这一页的权限问题很关键:两个用户的问题相同,不代表可以共用检索结果或答案。
如果他们可访问的文档不同,相关缓存就需要区分权限上下文,否则可能返回另一个用户才能看到的内容。
2. Chunking 为什么是系统问题(p12)
- 小 chunk:检索更精确,但向量数量更多,也容易把证据切碎。
- 大 chunk:上下文完整,但容易带入无关内容。
- 重叠 chunk:减少边界信息丢失,但会增加存储和 prompt 中的重复内容。
比如,政策的“规则”在一个 chunk,“例外条件”在下一个 chunk。只取到规则,可能导致错误回答。
所以 chunk 大小同时影响 证据完整性、索引大小和推理开销。
3. 检索更多内容为什么会变慢(p13)
PPT 假设每个 chunk 是 512 tokens,固定 prompt 是 1,024 tokens:
| 配置 | 检索文本 | 总输入 |
|---|---|---|
| 4 chunks | 2,048 tokens | 3,072 tokens |
| 16 chunks | 8,192 tokens | 9,216 tokens |
总输入变成了三倍,会增加 prefill 工作和 KV cache 占用;decode 时也需要关注更长的上下文。
输入变成三倍不意味着延迟必然精确变成三倍,但资源需求明显增加。
4. 三种 synthesis methods(p14)
| 方法 | 工作方式 | 主要特点 |
|---|---|---|
| Stuff | 把所有 chunks 一起放进 prompt,直接回答 | 流程简单,但上下文较长 |
| Map Rerank | 每个 chunk 分别生成答案及置信度,再选择答案 | 适合某一段材料就能回答的问题 |
| Map Reduce | 每个 chunk 先生成中间结果,再汇总回答 | 可以整合分散在多段材料中的信息 |
例如,“某人出生在哪个县”可能一个 chunk 就足够;“三个人是否来自同一个国家”则可能需要整合多段证据。
另外,Map Rerank 和前面的检索 reranking 不是同一步:前者选择生成的候选答案,后者排序检索到的文档。
第四章:为什么需要针对每个问题调整配置(p11、p15–17)
PPT 提出三个主要配置旋钮:
| 配置 | 控制什么 |
|---|---|
num_chunks | 使用多少段检索材料 |
synthesis_method | 如何利用和整合材料 |
intermediate_length | 中间摘要或结果保留多少内容 |
难点在于:不同问题的最佳配置不同。
一个简单事实问题,更多 chunks 可能只是增加噪声。一个需要多段证据的问题,减少 chunks 或过度压缩摘要,又可能丢失必要信息。
因此,同一个配置变化可能产生不同效果:
- 对问题 A,提高质量;
- 对问题 B,增加延迟但没有帮助;
- 对问题 C,反而降低质量。
p17 的 Pareto boundary(帕累托边界) 可以这样理解:在这条边界上的配置,想进一步降低延迟,就需要牺牲质量;想进一步提高质量,就需要付出更多延迟。
Per-query adaptation 的目标,是为不同问题选择不同配置,从而改善整体的质量—延迟关系。
第五章:METIS 如何联合选择配置和调度(p19–24)
这是本节课的核心方法。
METIS 在传统 RAG 流程上增加一个 controller,主要完成两件事:
先分析问题、缩小配置空间,再结合当前资源选择配置和执行安排。
1. Query profiling:先判断问题需要什么(p22)
METIS 用 LLM 分析:
- 问题复杂度高不高?
- 是否需要 joint reasoning,即联合多段证据推理?
- 需要多少条信息?
- 中间摘要可以压缩到什么长度?
然后通过 rule-based mapping,把这些判断转换为较小的候选配置空间。
例如,判断问题需要整合多段信息后,就可以排除某些不适合的配置,并给 chunk 数、中间结果长度限定范围。
Profiler 负责缩小选择范围,scheduler 再作出最终选择。 它不需要把所有配置都完整运行一遍。
2. 为什么配置选择必须考虑调度(p23)
这一页的例子最值得理解:
- Stuff 需要 12 GB 可用显存;
- 当前只有 6 GB 空闲;
- Map Reduce 可以分成每步需要 6 GB 的任务执行。
在这个示意中,即使 Stuff 单独运行通常更快,它现在也需要等显存;Map Reduce 可以先开始,最终反而更早完成。
所以实际延迟需要同时考虑:
[ T_{\text{response}} = T_{\text{waiting}} + T_{\text{execution}} ]
孤立运行最快的配置,在繁忙系统中未必最快。
METIS 因此把“使用什么配置”和“如何安排执行”放在一起决定,并考虑 GPU memory 和 serving 状态。
3. Profiling 自己也可能出错(p24)
如果 profiler 把一个复杂问题判断成简单问题,后面的配置选择就可能过度削减证据。
这一页用 profiling confidence 来识别可能失败的分析。图中使用 90% 阈值,低于阈值的约 7% 样本中,坏 profile 的比例很高;高于阈值的样本大多是好 profile。
它说明置信度对筛查错误有帮助,并不代表超过阈值就保证判断正确。
第六章:怎样评价系统,以及如何扩展到 Agent(p25–28)
1. 需要分开评价三件事(p25)
| 维度 | 要回答的问题 |
|---|---|
| Retrieval quality | 找到的证据是否包含回答所需的信息? |
| Answer quality | 最终答案是否正确、是否有证据支持? |
| Systems performance | 首 token 延迟、总延迟、吞吐量和成本是多少? |
检索质量高,不保证最终答案正确,因为模型可能错误理解证据;检索材料很多,也可能因为推理成本过高而降低系统效率。
因此,RAG 优化必须评价完整应用,不能只看检索召回率。
2. METIS 的实验结果(p26–27)
PPT 报告,在相同回答质量下,METIS 获得 1.64–2.54× 的延迟加速。
消融实验表明,调整 chunk 数、synthesis method、中间结果长度,以及联合调度,都对改善质量—延迟权衡有贡献。
读这些结果时,重点是“相同质量下更快”:如果只是通过少读材料、降低回答质量来加速,就无法说明优化有效。
3. RAG 进入 Agent loop 后发生什么(p28)
普通 RAG 通常执行预先确定的流程;Agent 可以根据结果继续决定:
搜什么 → 检查结果 → 改写问题 → 再搜索 → 决定是否回答。
因此系统还需要管理可变的搜索轮数、工具延迟、取消操作和共享预算。
此时核心问题变成:
再搜一次带来的预期收益,是否值得额外延迟?有什么信号能告诉 Agent 应该停止?
整节课可以沿着这条线理解:先把知识存好、搜出来,再控制模型如何使用证据,最后根据问题需求和系统资源决定投入多少工作。