Lesson12-Retrieval and Knowledge Infrastructure

这节课的主题是 Retrieval and Knowledge Infrastructure(检索与知识基础设施)。核心问题是 怎样让 LLM 找到合适的外部知识,并在回答质量、延迟和资源开销之间取得平衡?

第一章:RAG 的基本流程与知识库建设(p3–4)

RAG = Retrieval-Augmented Generation,检索增强生成。

模型收到问题后,先从知识库中找到相关材料,再结合这些材料生成回答。例如,问“学校的报销政策是什么”,系统先找相关政策文档,再让 LLM 根据文档作答。

这里有两个阶段:

阶段主要操作什么时候发生
Ingestion:知识入库解析文档 → 切分 chunks → 计算 embeddings → 保存文本和元数据 → 建立索引文档加入或更新时
Online query:在线查询编码问题 → 检索 → 可选 reranking → 组织 prompt → LLM 生成用户提问时

需要理解的是:RAG 不只是“向量数据库 + LLM”。 文档解析、版本管理、检索、排序和 prompt 组织都会影响最终结果。

例如,政策已经更新,但索引仍指向旧版本,即使 LLM 完全按照检索材料回答,答案也可能过时。

第二章:如何高效地检索知识(p5–9)

这一部分分成两个层次:用什么信号判断相关,以及怎样快速找到相关内容。

1. Lexical、Dense 和 Hybrid retrieval(p5)

方法如何判断相关适合什么问题
Lexical retrieval,如 BM25词语是否匹配人名、编号、错误代码
Dense retrievalembedding 是否相近表述不同但语义相似的问题
Hybrid retrieval结合词语与语义信号同时需要精确匹配和语义理解

例如:

  • 搜索 ERR_CONNECTION_RESET,精确词语匹配很重要。
  • 搜索“为什么连接总是断开”,语义检索更容易匹配到不同措辞的解释。

Hybrid 需要进行两种搜索并融合结果,因此它也带来额外工作。

2. 为什么需要向量索引(p6)

假设有 1,000 万个 chunks,每个 embedding 有 768 维,使用 FP32:

[ 10^7 \times 768 \times 4 = 30.72\ \text{GB} ]

这还只是向量本身,没算文本、元数据和索引。

如果每次查询都扫描所有向量,计算和内存带宽开销都很大。因此会使用 ANN(Approximate Nearest Neighbor,近似最近邻):减少搜索工作,代价是可能漏掉真正最相近的向量。

3. HNSW 与 IVF(p7–8)

索引直观理解提高召回率的方法主要代价
HNSW沿着多层邻居图,先定位大致区域,再细找探索更多候选节点图占内存,访问不规则
IVF先把向量分组,只搜索最相关的几个组增大 nprobe,搜索更多组扫描更多向量

HNSW 像沿着路网找目标;IVF 像先确定几个可能的区域,再在区域内部搜索。

两者共同的权衡都是:

搜索越充分,通常召回率越高,但查询开销也越大。

4. Retrieval 和 Reranking 分别做什么(p9)

Retriever 负责快速找出候选,reranker 再更仔细地评估问题与每个候选是否相关。

PPT 的例子是:

检索 100 个候选 → 重排这 100 个 → 把最好的 8 个交给 LLM。

这里要区分两个数量:检索候选数和最终进入 prompt 的 chunk 数。前者主要影响搜索和重排成本,后者直接影响 LLM 的输入成本。

第三章:缓存、切块与生成方式(p10–14)

这一章说明:找到材料之后,如何使用材料,同样是系统设计问题。

1. Cache 能省什么,又什么时候失效(p10)

缓存对象节省的工作需要注意的变化
Query embedding问题编码问题、embedding 模型
Retrieved results搜索和文档获取文档版本、过滤条件、权限
Prompt-prefix KV重复的 prefilltoken 前缀、模型状态
Generated answer大部分回答流程证据更新、任务含义变化

这一页的权限问题很关键:两个用户的问题相同,不代表可以共用检索结果或答案。

如果他们可访问的文档不同,相关缓存就需要区分权限上下文,否则可能返回另一个用户才能看到的内容。

2. Chunking 为什么是系统问题(p12)

  • 小 chunk:检索更精确,但向量数量更多,也容易把证据切碎。
  • 大 chunk:上下文完整,但容易带入无关内容。
  • 重叠 chunk:减少边界信息丢失,但会增加存储和 prompt 中的重复内容。

比如,政策的“规则”在一个 chunk,“例外条件”在下一个 chunk。只取到规则,可能导致错误回答。

所以 chunk 大小同时影响 证据完整性、索引大小和推理开销。

3. 检索更多内容为什么会变慢(p13)

PPT 假设每个 chunk 是 512 tokens,固定 prompt 是 1,024 tokens:

配置检索文本总输入
4 chunks2,048 tokens3,072 tokens
16 chunks8,192 tokens9,216 tokens

总输入变成了三倍,会增加 prefill 工作和 KV cache 占用;decode 时也需要关注更长的上下文。

输入变成三倍不意味着延迟必然精确变成三倍,但资源需求明显增加。

4. 三种 synthesis methods(p14)

方法工作方式主要特点
Stuff把所有 chunks 一起放进 prompt,直接回答流程简单,但上下文较长
Map Rerank每个 chunk 分别生成答案及置信度,再选择答案适合某一段材料就能回答的问题
Map Reduce每个 chunk 先生成中间结果,再汇总回答可以整合分散在多段材料中的信息

例如,“某人出生在哪个县”可能一个 chunk 就足够;“三个人是否来自同一个国家”则可能需要整合多段证据。

另外,Map Rerank 和前面的检索 reranking 不是同一步:前者选择生成的候选答案,后者排序检索到的文档。

第四章:为什么需要针对每个问题调整配置(p11、p15–17)

PPT 提出三个主要配置旋钮:

配置控制什么
num_chunks使用多少段检索材料
synthesis_method如何利用和整合材料
intermediate_length中间摘要或结果保留多少内容

难点在于:不同问题的最佳配置不同。

一个简单事实问题,更多 chunks 可能只是增加噪声。一个需要多段证据的问题,减少 chunks 或过度压缩摘要,又可能丢失必要信息。

因此,同一个配置变化可能产生不同效果:

  • 对问题 A,提高质量;
  • 对问题 B,增加延迟但没有帮助;
  • 对问题 C,反而降低质量。

p17 的 Pareto boundary(帕累托边界) 可以这样理解:在这条边界上的配置,想进一步降低延迟,就需要牺牲质量;想进一步提高质量,就需要付出更多延迟。

Per-query adaptation 的目标,是为不同问题选择不同配置,从而改善整体的质量—延迟关系。

第五章:METIS 如何联合选择配置和调度(p19–24)

这是本节课的核心方法。

METIS 在传统 RAG 流程上增加一个 controller,主要完成两件事:

先分析问题、缩小配置空间,再结合当前资源选择配置和执行安排。

1. Query profiling:先判断问题需要什么(p22)

METIS 用 LLM 分析:

  • 问题复杂度高不高?
  • 是否需要 joint reasoning,即联合多段证据推理?
  • 需要多少条信息?
  • 中间摘要可以压缩到什么长度?

然后通过 rule-based mapping,把这些判断转换为较小的候选配置空间。

例如,判断问题需要整合多段信息后,就可以排除某些不适合的配置,并给 chunk 数、中间结果长度限定范围。

Profiler 负责缩小选择范围,scheduler 再作出最终选择。 它不需要把所有配置都完整运行一遍。

2. 为什么配置选择必须考虑调度(p23)

这一页的例子最值得理解:

  • Stuff 需要 12 GB 可用显存;
  • 当前只有 6 GB 空闲;
  • Map Reduce 可以分成每步需要 6 GB 的任务执行。

在这个示意中,即使 Stuff 单独运行通常更快,它现在也需要等显存;Map Reduce 可以先开始,最终反而更早完成。

所以实际延迟需要同时考虑:

[ T_{\text{response}} = T_{\text{waiting}} + T_{\text{execution}} ]

孤立运行最快的配置,在繁忙系统中未必最快。

METIS 因此把“使用什么配置”和“如何安排执行”放在一起决定,并考虑 GPU memory 和 serving 状态。

3. Profiling 自己也可能出错(p24)

如果 profiler 把一个复杂问题判断成简单问题,后面的配置选择就可能过度削减证据。

这一页用 profiling confidence 来识别可能失败的分析。图中使用 90% 阈值,低于阈值的约 7% 样本中,坏 profile 的比例很高;高于阈值的样本大多是好 profile。

它说明置信度对筛查错误有帮助,并不代表超过阈值就保证判断正确。

第六章:怎样评价系统,以及如何扩展到 Agent(p25–28)

1. 需要分开评价三件事(p25)

维度要回答的问题
Retrieval quality找到的证据是否包含回答所需的信息?
Answer quality最终答案是否正确、是否有证据支持?
Systems performance首 token 延迟、总延迟、吞吐量和成本是多少?

检索质量高,不保证最终答案正确,因为模型可能错误理解证据;检索材料很多,也可能因为推理成本过高而降低系统效率。

因此,RAG 优化必须评价完整应用,不能只看检索召回率。

2. METIS 的实验结果(p26–27)

PPT 报告,在相同回答质量下,METIS 获得 1.64–2.54× 的延迟加速。

消融实验表明,调整 chunk 数、synthesis method、中间结果长度,以及联合调度,都对改善质量—延迟权衡有贡献。

读这些结果时,重点是“相同质量下更快”:如果只是通过少读材料、降低回答质量来加速,就无法说明优化有效。

3. RAG 进入 Agent loop 后发生什么(p28)

普通 RAG 通常执行预先确定的流程;Agent 可以根据结果继续决定:

搜什么 → 检查结果 → 改写问题 → 再搜索 → 决定是否回答。

因此系统还需要管理可变的搜索轮数、工具延迟、取消操作和共享预算。

此时核心问题变成:

再搜一次带来的预期收益,是否值得额外延迟?有什么信号能告诉 Agent 应该停止?

整节课可以沿着这条线理解:先把知识存好、搜出来,再控制模型如何使用证据,最后根据问题需求和系统资源决定投入多少工作。