Generative AI System Design Interview (1) -- Introduction and Overview

Generative AI System Design Interview (1) -- Introduction and Overview 学习笔记轻轻的开始准备暑期intern...我打宿傩,真的假的(

GenAI overview

主要是模型和方法分类吧,这块我们熟就不管了

Data Preparation

Data types

Data efficiency

Efficient retrieval

让训练时取数据更快,减少等待。主要靠:分片并行读、索引快速找、缓存减少 I/O。

  1. Sharding 分片
    把大数据集切成多份,放到不同机器/设备上,并行读取。
    核心:多人同时搬砖,比一个人快。
  2. Indexing 建索引
    给数据建立“目录”,比如 Lucene / Elasticsearch,方便快速定位需要的数据。
    核心:像查字典,不用从头翻到尾。
  3. Pre-loading / Caching 预加载/缓存
    把常用数据提前放进内存,避免每次都从硬盘慢慢读。
    核心:常用的东西提前放桌上,随手拿。

Model training

Task-specific challenges and mitigations

不同任务有不同瓶颈。比如 视频生成模型 特别重,因为它需要处理大量帧、时序关系和高维视觉信息,所以训练成本很高。

常见缓解方法包括:

并行训练 + 混合精度 + latent diffusion 等方法,降低训练成本。

Gradient checkpointing 梯度检查点

正常训练会保存很多中间激活值,用于反向传播,但这很占显存。

Gradient checkpointing 的做法:

不保存所有中间结果,只保存关键节点;反向传播时,缺的中间结果再重新算一遍。

所以它是用更多计算时间,换更少显存,适合显存不够但还能多算一点的情况。

Mixed precision training 混合精度训练

正常训练可能用 FP32,也就是 32-bit 精度,比较稳但慢、占显存。

混合精度训练会让大部分计算用 FP16 / BF16,关键地方保留 FP32。

所以它是:

大部分地方用低精度加速,关键地方用高精度保稳定。

优点:

训练更快,显存更省,效果基本不变。

Automatic mixed precision (AMP) 就是自动混合精度工具,PyTorch / TensorFlow 可以自动判断哪些地方用 FP16,哪些地方用 FP32。

Distributed training 分布式训练

当单机单卡训练不了大模型时,就把训练分到多张 GPU 或多台机器上。

Data Parallelism 数据并行

每张 GPU 都放一份完整模型,但处理不同的数据。

比如有 4 张 GPU:

  • GPU 0 训练 batch A
  • GPU 1 训练 batch B
  • GPU 2 训练 batch C
  • GPU 3 训练 batch D

然后大家算完梯度,把结果汇总,更新模型参数。

核心一句话:模型复制多份,数据分给不同 GPU。

适合:数据很大,但模型单张卡还能放下。

更新方式

Synchronous 同步更新

所有 GPU 都算完,统一汇总梯度,再一起更新参数。

优点:结果稳定,大家用的是同一个版本的模型。
缺点:要等最慢的 GPU,所以可能慢。

一句话:大家都做完作业,再一起交。

Asynchronous 异步更新

哪个 GPU 先算完,就先把梯度发给参数服务器,参数服务器马上更新。

优点:更快,不用等最慢的 GPU。
缺点:不同 GPU 可能用的是稍微旧一点的模型参数,训练可能不太一致。

一句话:谁先做完谁先交,但大家手里的题目版本可能有点不同。

Model Parallelism 模型并行

模型太大,一张 GPU 放不下,所以把模型切到多张 GPU 上。

方法怎么切适合什么情况
Pipeline Parallelism按层切模型层数很多
Tensor Parallelism按矩阵/张量切单层太大

Pipeline Parallelism

流水线并行,按层切模型。

比如一个模型有很多层:

GPU 0 负责 Layer 0–1
GPU 1 负责 Layer 2–3
GPU 2 负责 Layer 4–5

前向传播时,数据从 GPU 0 → GPU 1 → GPU 2。
反向传播时,梯度再从 GPU 2 → GPU 1 → GPU 0 传回来。

Tensor Parallelism

按层内部的矩阵计算切模型

usage: Transformer 里的大线性层 / attention / MLP。

B=A×W

如果 W 太大,一张 GPU 算不动,就把 W 切成几块:

  • GPU 0 算 A×W1=B1
  • GPU 1 算 A×W2=B2
  • 最后把 B1,B2 拼起来得到 B

Hybrid Parallelism 混合并行

把数据并行、模型并行、流水线并行组合起来。

超大模型训练通常都用混合并行。

ZeRO (Zero Redundancy Optimizer)[49] from Microsoft

FSDP (Fully Sharded Data Parallel) [50] from Meta

Model Sampling

generating new data or outputs from the trained generative model.

方法是否随机核心逻辑特点
Greedy否每步选最高概率快,但死板
Beam Search否保留多条高分路径稳,但贵、可能模板化
Top-k是从前 k 个词里抽样多样,但 k 要调
Top-p是从累计概率 p 的词里抽样更灵活,常用于开放生成

Greedy 只看第一名;Beam 看前几条完整路线;Top-k 在前 k 个词里随机;Top-p 在“概率够大的候选池”里随机。

Evaluation

Offline evaluation

Offline evaluation is the process of assessing the performance of a model or system using pre-collected data without deploying it in a real-time environment.

online evaluation

The online evaluation assesses how the model performs in production (i.e., after deployment).