主要内容：
- 语言模型 Language model
- 循环神经网络 recurrent neural network
- 梯度消失和梯度爆炸问题的原因以及解决方法
- 双向rnn， deep bi-RNNs
- 关于依存分析的presentation
语言模型 Language Model
语言模型是计算一系列词以特定序列出现的概率。传统的语言模型是基于频率，计算在前n个词的条件下生成下一个词 \(w_i\) 的概率。
\[P(w_1,...,w_m)=\prod_{i=1}^{i=m}P(w_i|w_1,...,w_i-1)\approx\prod_{i=1}^{i=m}P(w_i|w_{i-n},...,w_{i-1})\]
其中： \[P(w_2|w_1)=\dfrac{count(w_1,w_2)}{count(w_1)}\] \[P(w_3|w_1,w_2)=\dfrac{count(w_1,w_2,w_3)}{count(w_1,w_2)}\]
但基于概率的语言模型并不能捕捉到一些语义信息。 >For instance, consider a case where an article discusses the history of Spain and France and somewhere later in the text, it reads "The two countries went on a battle"; clearly the information presented in this sentence alone is not sufficient to identify the name of the two countries.
于是出现了第一个神经网络的语言模型， learning a distributed representation of words
\[\hat y=softmax(W^{(2)}tanh(w^{(1)}x+b^{(1)})+w^{(3)}x+b^{(3)})\] - W^{(1)} 应用于词向量（solid green arrows） - W^{(2)} 应用于隐藏层 - W^{(3)} 应用于词向量（dashed green arrows）
但如果要记忆更多的词，必须要增大windows size n，这会造成计算量太大而无法计算。
循环神经网络 Recurrent Neural Network language model
\[h_t = \sigma(W_{hh}h_{t-1}+W_{hx}x_{|t|})\] 其中+表示concatenate还是直接相加？通过作业实现，是相加～
shapes:
\(h_0\in R^{D_h}\) is some initialization vector for the hidden layer at time step 0,
\(x\in R^{d}\) is the column vector for L at index [t] at time step t
\(W^{hh}\in R^{D_h\times D_h}\)
\(W^{hx}\in R^{D_h\times d}\)
\(W^{(S))}\in R^{|V|\times D_h}\)
当前时间步的输出：
\(\hat y \in R^{|V|}\) 通过softmax得到的在词表V上的概率分布。
那么当前时间步的损失值：
\[J^{(t)}(\theta) = -\sum_{j=1}^{|V|}y_{t,j}log\hat y_{t,j}\]
\(y_{t,j}\) 表示当前时间步的actual word,是 one-hot vector.
在训练模型时，\(\hat y_t\) 用来计算当前时间步的损失值,从而训练参数。而在测试集中时，也就是生成sentence时，用来作为下一个时间步的输入。
那么对整个sentence的预测的损失值：
\[J=\dfrac{1}{T}\sum_{t=1}^T(\theta)=-\dfrac{1}{T}\sum_{t=1}^T\sum_{j=1}^{|V|}y_{t,j}\times log(\hat y_{t,j})\]
困惑度： \[Perplexity=2^J\]
梯度消失和梯度爆炸问题
Training RNNs is incredibly hard! Buz of gradient vanishing and explosion problems.
这篇文章对rnn中梯度消失的问题说的比较清楚，RNN梯度消失和爆炸的原因
这里将rnn简化了,原本应该是： \[h_t=\sigma (Wf(h_{t-1})+W^{(hx)}x_{|t|})\] \[\hat y = softmax(W^{(S)}f(h_t))\]
这里就按照简化的来推导吧，t时间步的损失值对
\[\dfrac{\partial E_t}{\partial W} = \sum_{k=1}^t\dfrac{\partial E_t}{\partial y_t}\dfrac{\partial y_t}{\partial h_t}\dfrac{\partial h_t}{\partial h_k}\dfrac{\partial h_k}{\partial W}\]
其实主要是这个式子的问题 \(\dfrac{\partial h_t}{\partial h_k}\), \(h_t\) 是W 和 \(h_t-1\) 的函数， \(h_{t-1}\) 又是 W 和 \(h_{t-2}\) 的函数.....
也就是说 \(h_t\) 是之前所有时刻 \(h_k\) 的函数，而 \(h_k\) 也是权重 W 的函数
\[\dfrac{\partial h_t}{\partial h_k} = \prod_{j=k+1}^k\dfrac{\partial h_j}{\partial h_{j-1}}=\prod_{j=k+1}^tW^T\times diag[f'(j_{j-1})]\]
其中 \(h\in R^{D_h}\), 因此其导数 \(\partial h_j/\partial h_{j-1}\) 是一个 \(D_h \times D_h\) 的雅克比矩阵。
所以有： \[\dfrac{\partial E_t}{\partial W} = \sum_{k=1}^t\dfrac{\partial E_t}{\partial y_t}\dfrac{\partial y_t}{\partial h_t}(\prod_{j=k+1}^t\dfrac{\partial h_j}{\partial h_{j-1}})\dfrac{\partial h_k}{\partial W}\]
定义 \(\beta\) 为范式的下界，那么 \(||\dfrac{\partial h_j}{\partial h_{j-1}}||\) 很容易变得很小或很大。 
解决梯度爆炸或消失的一些tricks
梯度裁剪 gradient clipping
对于gradient exploding，有个很简单的trick:gradient clipping
可以动手实践下，也许对梯度会有更深的理解～
- 实线Solid lines表示 standard gradient descent trajectories
- 虚线Dashed lines表示 gradients rescaled to fixed size
将error看作是很多维参数空间的函数,如果是二维的话，那error surface就是一个曲面。在曲面上高曲率的地方(high curvature walls)，其梯度也就很大。 详细的还是看文献吧On the difficulty of training Recurrent Neural Networks, Pascanu
对于梯度消失 vanishing gradients
- 参数初始化 Initialization
- relus, Rectified Relus
很难理解为啥用relu能很好的解决梯度消失的问题，的确relu的梯度为1，但它的非线性也太简单了吧。。。所以得看看原论文 A Simple Way to Initialize Recurrent Networks of Rectified Linear Units
softmax计算量太大的问题
对于每个时间步，从隐藏层到输出 \(W^{(S)} \in R^{D_h, V}\) ,如果词表很大的话，这个矩阵也就很大了～
序列模型的一些其他任务
Classify each word into:
- NER
- Entity level sentiment in context
- opinion expression extraction Opinion Mining with Deep Recurrent Neural Networks
双向 RNNs
其实跟rnn没有太多变化，有两个隐藏层，并且隐藏层的递归分别是从语料库的两个不同的方向。
Deep bidirectional RNNs
\[\overrightarrow {h_t^{(i)}}=f(\overrightarrow{W^{(i)}}h_t^{(i-1)}+\overrightarrow{V^{(i)}}h_{t-1}^{(i)}+\overrightarrow{b^{(i)}})\]
其中 \(h_t^{(i-1)}\) 表示上一层隐藏层的输入， \(h_{t-1}^{(i)}\) 表示当前隐藏层层的上一个时间步的输入。
\[\overleftarrow {h_t^{(i)}}=f(\overleftarrow{W^{(i)}}h_t^{(i-1)}+\overleftarrow{V^{(i)}}h_{t-1}^{(i)}+\overleftarrow{b^{(i)}})\]
需要训练的参数有：\(\overrightarrow{W^{(i)}},\overleftarrow{W^{(i)}}\) \(\overrightarrow{V^{(i)}},\overleftarrow{V^{(i)}}\)
\[\hat y_t=g(Uh_t+c)=g(U[\overrightarrow{h_t^{(L)}};\overleftarrow{h_t^{(L)}}]+c)\]
data evalution
Presentation
表示根本听不懂，只知道使用deeplearning做依存分析。。用state-of-art的SyntaxNet和前人几篇有影响力的进行了对比～