Lesson 2-Text Classification with Linear Models

1. 文本分类的基本概念(第 4–10 页)

文本分类:给定一段文本,从预先定义的标签中选择它所属的类别。

常见任务:

  • Sentiment analysis:正面 / 负面。
  • Spam(垃圾邮件) detection:Spam / Not spam。
  • Topic classification:体育 / 政治 / 科技。
  • Language identification:中文 / 英文等。
  • Authorship attribution:根据文章的语言特征判断作者。

分类任务的类型

Binary classification(二分类)
Multi-class classification(多分类)
Multi-label classification(多标签分类)

为什么使用机器学习?

writing rules 难以覆盖文本的多样性:

  • 同一类别可以有很多表达方式。
  • 计算机不会天然理解词语的含义与关系。

机器学习的基本流程:learn them from data

  1. 收集文本及其标签。
  2. 使用训练集训练分类器。
  3. 使用未见过的测试数据评估模型。

假设样本来自未知的数据分布 PdataP_\text{data}:

(xi,yi)∼Pdata(x_i,y_i)\sim P_{\text{data}}

Generalization:模型能正确预测来自同一分布的新样本。

2. 文本表示:Bag of Words (BoW)(第 11–14 页)

机器学习模型需要 numerical input,因此先将文本转换成特征向量:

x=f(text)\mathbf{x}=f(\text{text})

表示方式 ff 决定模型能看到什么;被表示过程丢掉的信息无法由分类器恢复。

Bag of Words(BoW,词袋模型)

步骤:

  1. 建立词表。
  2. 每个词对应向量的一维。
  3. 用词在文本中的出现次数作为该维度的数值。

例如,词表为 [good, bad, movie]:

good good movie → [2, 0, 1]
bad movie       → [0, 1, 1]

BoW 保留词频,但不保留词序。

  • 高维且稀疏:词表很大,但单个文本只包含少量词,大部分维度为 0。
  • 丢失句子结构:不保留词序,难以表达否定词的作用范围。
  • 缺少语义关系:good 和 great 是不同维度,不会天然被视为近义词。

例如,下面两句话词频相同,但情感不同:

The movie was not good, it was bad.
The movie was not bad, it was good.

VS one-hot
one-hot 用一个向量表示一个词

向量长度等于 vocabulary size,只有对应词的位置是 1,其他位置都是 0:

I     → [1, 0, 0, 0]
love  → [0, 1, 0, 0]
cats  → [0, 0, 1, 0]
dogs  → [0, 0, 0, 1]

句子 I love cats 可以表示为一个 one-hot vector sequence:

[1, 0, 0, 0]   ← I
[0, 1, 0, 0]   ← love
[0, 0, 1, 0]   ← cats

这里保留了每个词的位置,因此保留了 word order。

3. 最近邻分类器与 k-NN(第 15–23 页)

1-NN:最近邻分类

对于一个新文本:

  1. 将它转换成向量。
  2. 找到距离最近的训练样本。
  3. 使用该样本的标签作为预测结果。

课件使用 L1 距离:

d(x,x′)=∑j=1D∣xj−xj′∣d(\mathbf{x},\mathbf{x}') =\sum_{j=1}^{D}|x_j-x'_j|

即:各维度的差取绝对值后求和。

k-NN:多个邻居投票

1-NN 容易受噪声或异常样本影响,因此可以改用最近的 kk 个样本进行major vote。

例如,最近 5 个样本中:

  • 3 个属于 Spam。
  • 2 个属于 Not spam。
    最终预测为 Spam。

computation cost

  • 训练阶段:主要保存训练样本,不需要优化参数。
  • 预测阶段:需要搜索训练样本,数据越多,预测越慢。

课件简化为训练 O(1)O(1)、预测 O(N)O(N)。
考虑特征维度 DD 时,朴素预测的距离计算约为 O(ND)O(ND)。

4. 超参数与数据集划分(第 24–26 页)

超参数(Hyperparameters)是需要人为选择的模型设置。

k-NN 的超参数包括:

  • 邻居数量 kk。
  • 距离度量。
  • 文本表示方式。

如何选择超参数?

原则:用验证集调参,测试集留到最终评估。

数据集用途
Training set(训练集)学习模型,或作为 k-NN 的邻居集合
Validation set(验证集)选择超参数
Test set(测试集)最终评估泛化能力

不能根据训练集表现选择超参数:

  • 1-NN 查询训练样本时,最近邻通常是样本自己。
  • 高训练准确率不代表高泛化能力。

不能反复根据测试集调参:

  • 这会利用测试集的信息。
  • 最终成绩不再是独立评估。

5. 线性分类器(第 27–35 页)


线性分类器通过特征的加权求和,计算各类别的分数:

f(x,W)=Wx+bf(x,W)=W\mathbf{x}+\mathbf{b}
符号含义形状
x\mathbf{x}文本特征向量D×1D\times1
WW各类别的特征权重C×DC\times D
b\mathbf{b}各类别的偏置C×1C\times1
f(x,W)f(x,W)各类别的分数C×1C\times1

其中,DD 是特征维度,CC 是类别数量。

WW 的每一行对应一个类别:

  • 正权重:该特征增加此类别的分数。
  • 负权重:该特征降低此类别的分数。

例如,某些词可能提高 Spam 的分数,另一些词可能降低它的分数。

偏置 bcb_c 为类别提供一个与输入特征无关的基础分数。

例如,如果非垃圾邮件更常见,模型可以通过偏置表达这种基础倾向。

决策边界

二分类的线性决策边界为:

w⊤x+b=0\mathbf{w}^\top\mathbf{x}+b=0
  • 二维空间:一条直线。
  • 高维空间:一个超平面。
  • 权重决定边界方向,偏置决定边界位置。

线性层也是神经网络和 Transformer 中常见的基本模块。

e.g

if classify 50 example at once, the dimensions would be:
W: 10 x 3072
b: 10 x 1
x(input) : 3072 x 50(sample)
output: 10x 50(sample)


One interpretation: each row of W is a template for a class. The score is the similarity between the input and the template.

6. 学习参数意味着什么?(第 36–39 页)

模型参数为:

θ=(W,b)\theta=(W,b)

不同参数对应不同的分类边界。

训练的目标:根据训练数据,寻找能够做出良好预测的参数。

从概率角度,希望模型接近真实的数据条件分布:

Pθ(y∣x)≈Pdata(y∣x)P_\theta(y\mid x)\approx P_{\text{data}}(y\mid x)

但真实分布未知,我们只有有限数据:

D={(x1,y1),…,(xn,yn)}D=\{(x_1,y_1),\ldots,(x_n,y_n)\}

因此,下一个问题是:

怎样根据有限样本衡量模型预测得好不好,并据此调整参数?

本节介绍了文本表示、k-NN、线性分类器和评估流程;具体损失函数与参数优化方法留到下一讲。