cs224d-lecture13 卷积神经网络

主要内容：

为什么要使用CNN
single layer connection
pooling: max-pooling
Multiple-Filters: multiple n-grams
Multiple-Channels: 两个词向量 static, dynamic
lassification after one CNN layer

为什么要使用CNN？

CNN模型在计算机视觉与语音识别方面取得了卓越的成就. 在 NLP 也是可以的. 卷积具有局部特征提取的功能, 所以可用 CNN 来提取句子中类似 n-gram 的关键信息.

Single layer connection

Convolution Neural Networks for Sentence Classification

对于单个词，其词向量：\(x_i\in R^k\), k维词向量
n个词concatenate在一起表示为：\(x_{1:n}=x_1\bigoplus x_2 \bigoplus...\bigoplus x_n\)
卷积过滤器filter: \(w\in R^{hk}\) h表示过滤器的尺寸，也就是覆盖多少个词.

上图figure13表示： k=2,n=5,h=3

需要注意的是filter是一个长度为 hk 的 vector，与input的每一个时间步做一次卷积（加权和）得到一个实数: \[c_i=f(W^Tx_{i:i|h-1}+b)\] 那么输出向量：\(c=[c_1,c_2,...,c_{n-h+1}]\in R^{n-h+1}\)

如果h=3，那么最后两个词 my birth 就不够卷积，可以如图figure14所示采用 h-1 zero-vector padding.

pooling

max-pooling: \[\hat c=max\{c\}, c\in R\]

filter可以看做和图像中的filter一样，一个图像特征提取器，那么在文本中，一个filter也可以看做是一个n-gram特征提取器，比如一个用来表示positive bigram,那么这个filter和句子中同样表示positive bigram做卷积的话，其值就会很大～那么使用max-pooling就是找到这个值

当然使用min-pooling也是可以的.但更多的时候我们选择用 relu作为激活函数，那么使用min-pooling的话，就会出现更多的 0.

Multiple-Filters

We can use multiple bi-gram filters because each filter will learn to recognize a different kind of bi-gram. Even more generally, we are not restricted to using just bi-grams, we can also have filters using tri-grams, quad-grams and even higher lengths. Each filter has an associated max-pool layer. Thus, our final output from the CNN layers will be a vector having length equal to the number of filters.

同时使用好几个bigram，用以获取不同的pattern. 除了bigram，还会使用trigram,unigram等等。

Multiple-Channels

我们有时候会需要在特定的场景下更新词向量，也就是也训练词向量参数，这样能够适应更特殊的任务。但如果在test中出现了train中没有出现的词unseen word，那么这个词的词向量还会保持初始词向量的值（Glove等）。但是与这个词语义相关的词的词向量却发生了变化，这样就造成了相似的词的的词向量相差较大。这显然是不合理的。

所以我们使用两个词向量，one ’static’ (no gradient flow into them) and one ’dynamic’, which are updated via SGD.

Backprop into only one set, keep other "static"
Both channels are added to \(c_i\) before max-pooling.

Classification after one CNN layer

First one convolution, followed by one max-pooling
To obtain final feature vector: \(z=[\hat c_1,...,\hat c_m]\) 假设有m个过滤器filter
Simple final softmax layer \(y=softmax(W^{(S)}z+b)\)

Convolution Neural Networks for Sentence Classification 论文中的模型：

第一层： two word-vector channels \(n\times k\times 2\)
第二层： m个filter得到的m列feature maps，由于有多种filter尺寸，如果没有zero-padding的话，那么得到的feature maps长度是不一致的。
第三层：max-pooling \(z=[\hat c_1,...,\hat c_m]\)
第四层：fully connectioned layer with dropout and softmax output.