本文简要介绍一些深度学习在自然语言应用的基本任务词表示文本翻译和机器翻译。

一、典型任务

• 词性标注和句法分析
• 问答和对话系统
• 文本/文档分类
• 情感分析和观点挖掘
• 机器翻译
• 文本生成
• ......

1.1 词性标注和句法分析

词性(POS)标注即对句子里的每个词给出它的词性如名词、动词等

句法分析即分析其主、谓、宾等结构

1.2 问答和对话系统

用户问出一个问题对话系统能够做出回答这便是该系统主要关注的任务。

左边是简单的一问一答的形式而后面则是有前后呼应的对话。

1.3 文本/文档分类

比如情感分类积极、消极、中性的

文档分类处理的对象会长一些不是简单的几句话而是一整片文章或是几页

1.4 机器翻译

机器翻译顾名思义就是把一种语言翻译成另外一种语言。

1.5 其它

NLP的应用还有很多比如对联、古诗生成~ 

couplet.msra.cn

九歌——人工智能诗歌写作系统 (thunlp.org)

二、词表示

2.1 词表示 

自然语言处理的最基本的对象就是词词构成句子句子构成段落段落构成文章。

那么我们如何来表示一个词呢大家最先能想到的就是以one-hot的形式如

但是这样维度、词汇表的大小|V| 可能是数百万。且如词与词之间意思相近或者意思没什么关系又无法表述dist(“kid”, “child”) 、dist(“flower”, “car”) 

• 维度太高
• 没有表达词之间的关系

动机用一个词的邻居来表示这个词 “You shall know a word by the company it keeps”

我们可以看到上面两句话都和词“banking”有关我们就可以用它周围的这些词即这段话里的词来表示“banking”的含义。

如何去表示呢

在深度学习兴起之前人们的一个典型的想法是用共现矩阵去表示。

2.1.1 基于窗口的共现矩阵

以下面示例语料集为例

• 我们选定一个窗口为方便起见我们选定窗口长度为1(通常是5-10)。
• 这个窗口的作用是来选的某个词左边1个词和右边1个词出现的频率。

上面语料集一共出现7个词所以矩阵是7*7的。

以like这行为例可以看到它左右距离为1的窗口出现单词I有两次deep一次NLP一次其它都为0次。

但是这种共现矩阵的表示法依然是有多少个词向量的长度就是多少依然不那么"经济实惠"但是相比于独热编码它没有那么稀疏了(但还是比较稀疏)。

• 维度太高
• 表示稀疏使模型不够鲁棒
• 在词汇表中添加一个单词时需要重新计算所有单词的表示形式

2.1.2 用低维向量表示单词

目标 以固定的、低维度的向量存储“大多数”重要信息(密集向量)

• 通常约25-1000维
• 基于这种表示很容易来执行任务分类生成等

方法

• 神经概率语言模型
  • Bengio et al., A neural probabilistic language model. Journal of  Machine Learning Research, 2003.
• 最近更简单更快的模型: word2vec (继承自神经概率语言模型)
  • Mikolov et al., Distributed representations of words and phrases and  their compositionality, NeurIPS 2013

神经概率语言模型的影响

2.2 word2vec的主要思想

2.2.1 思想介绍 

核心思想不统计词的共现数而是预测每个词周围的词。

如图输入一个词(one-hot编码)中间做一个神经网络的隐层这个隐层很简单没有非线性(没有激活函数即线性映射)。最后做出输出(每个输出也是one-hot)预测t-2, t-1, t+1, t+2时刻的词(和窗口大小有关)。

• |V|大概上万维-百万维
• d大有50~1000即先高维映射到低维然后再映射回高维。

第一步词wt乘以权重C得到vwt 其实就是得到了C的那一列。

第二步vwt 与 K  相乘又得到回一个V维的向量这个一列向量的每一行都表示和K这一行(这个词)在这个时刻(举例)的相似性(得分)。再经过一个softmax把结果压在0-1之间根据结果大小如投影为 t-2 位置的词。

• C的每一列对应一个词“输入向量”
• K的每一行对应一个词“输出向量”

注意

• 需要预定义C的列与语料库中词之间的对应关系
• 必须再K中使用同顺序的行。

经过学习后C的第i列与K的第i行可以平均来表示第i个词。

图示如下

以当前词为France为例 

经过投影后我们得到France这个词的输入向量"France"与K相乘得到一个高维的实数向量经过softmax得到0-1之间某时刻的输出向量。

在t-2时刻我们还有一个标准答案"captial"对应的独热编码这也说明K的最后一行表示captial。

同样其它词如of应该是t-1时刻的那么K的对应of的那一行(对应的输出向量)在该时刻也应该与输入向量France相似才能得到of.

2.3 训练方式

目标: 给定一个输入词最大化周围词的概率 

2.3.1 skip-gram模型 

skip-gram模型用当前词预测周围词的概率

以t-1时刻的词为例来最大化这个词的概率。

处于位置 t+j ( j = -2,-1,1,2 )的词 的概率为

训练过程中作为希望输出的词  的交叉熵损失为

2.3.2 目标函数

• 我们在窗口的其他位置有同样的要求。对所有位置的损失求和

        其中c是窗口大小 表示所有参数

• 在所有给定输入  上求平均

• 相当于最大化平均对数概率
• 用反向传播算法和SGD训练模型

2.3.3 softmax的替代方法

在窗口的每一个位置softmax的输出为

其中 

这种方法的问题在于归一化项的计算耗时长。

替代方法

• 层次化softmax
• 负采样

2.4 结果

可以看到下面一些有意思的现象 

国家都在左边首都都在右边且举例相似也都基本平行。

向量German和向量airlines相加得到的结果和他们的航空公交公司很像...

如何表示一个句子或一个段落

三、神经网络进行文本分类

在我们获得每个词的词向量后如何表示一个句子或一个段落

3.1 CNN进行文本分类 

答我们把这些词向量按照一定的顺序拼接起来得到一个二维矩阵这个二维矩阵就可以是一个句子/段落新的表示。之后对句子/段落进行分类其实就是对二维矩阵进行分类。我们此时就可以用以前那些处理图像的方法来处理这些二维矩阵了。

卷积核kernel的宽度和词向量的宽度都是K所以卷积后得到一个向量而不是一个矩阵。

再对每个句子上进行MaxPooling每次MaxPooling都会得到一个数有几个kernel就会有几个元素。

最后就可以做一个全连接网络进行句子分类。

3.1.1 这个模型有什么问题?

深度不够

• 一层卷积和一层池化

特征不够多样化

• 每个卷积核会产生一个1维的特征图即一个特征向量
• 在一个特征向量上应用全局最大池化即对所有时间做最大池化这会产生一个标量。

3.1.2 一个更深的模型

• 确定到底要多长的句子选择使用动态的K-Maxpooling使得得到的结果等长。

3.2 RNN进行文本分类

我们上面说到CNN进行文本分类RNN一般用来处理持续性信息其实我们用RNN去进行文本分类会更加的自然也是现在主流的选择。

以Elman网络为例其中x是每个时刻的输入(每个时刻的词) r最后时刻出现我们把隐层进行展开...

RNN文章 AI遮天传 DL-反馈神经网络RNN_老师我作业忘带了的博客-CSDN博客

• 可以使用 LSTM 或者 GRU
• 可以使用双向 RNN

四、神经网络进行机器翻译

介绍一种很典型的模型序列到序列的学习模型。

通常会涉及两个RNN: 编码器(encoder)和解码器(decoder)

许多NLP任务可以表述为序列到序列:

• 机器翻译 (法语 → 英语)
• 总结 (长文本 → 短文本)
• 对话 (先前的话语 → 接下来的话语)
• 代码生成 (自然语言 → Python 代码)
• 旋律产生 (一个乐句 → 下一个乐句)
• 语音识别 (声音 → 文本)

4.1 机器翻译 (NMT)

如下法语-英语 

• 左侧编码器RNN 产生一个源语句的编码
• 右侧解码器RNN生成以编码为条件的目标句子

对于编码器和解码器

• 对于编码器可以使用预训练词向量例如word2vec 或者one-hot形式词向量
• 对于解码器使用one-hot形式表示输出

编码器和解码器的字典

• 对于一些任务例如机器翻译它们是不同的
• 对于其他任务例如总结和对话任务它们是相同的

编码RNN和解码RNN通常是不同的也可以使用深度RNN。

4.2 训练 NMT 系统

首先我们要有很多的语料集法语->英语法语->英语法语->英语...法语->英语

把法语输入给Encoder RNN英语输入给Decoder RNN

每个时间都会输出一个单词使用交叉熵函数计算把所时刻的交叉熵计算结果加起来取个平均得到J最小化这个J反向传播(多个单词 就有多个loss)调整Encoder RNN 和 Decoder RNN里面的参数。

模型问题

上图画圈处的地方是Decoder的唯一输入我们期望Encoder在这个时候的状态包含了之前的原语句的所有信息。但是只用这一个向量来表示这个句子的所有信息对它的要求是不是有点高了

解决办法注意力机制

注意力机制提供了一个解决瓶颈问题的方法

4.3 注意力机制(Attention)

核心思想: 解码器的每一步中关注于源序列的特定部分。

即当前我要输出某个词的时候 我们就去原序列集中注意去找哪些词和它的关系最强。

注意力机制有很多形式 下面将展示一个例子

4.3.1 带有Attention的Seq2seq 

我们从第一个时刻出发要预测第一个时刻的输出把Decoder里隐层的向量与Encoder隐层的向量进行点积每个地方得到一个标量标量有大有小有的可能超过1有的可能是负数

此时做一个softmax转换到0-1之间表示Encoder里每一个向量与Decoder当前向量的距离/相似度。

可见Decoder里第一个词与Encoder里第一个词很相似。

我们把softmax后的这些结果(相当于权重)与Encoder里的向量相乘进行加权求和

在加权求和结果里第一个向量的成分/比例是最大的。

将加权求和之后的结果Attention与当前时刻的Decoder时刻的隐层状态把他俩拼起来经过一个softmax去预测当前时刻应该输出什么:

同样下一时刻也是如此

对应公式

五、主要参考文献及延伸阅读

• Kim (2014) Convolutional neural networks for sentence classification arXiv preprint arXiv:1408.5882
• Bengio, Ducharme, Vincent, Jauvin (2003) A neural probabilistic language model  Journal of Machine Learning Research 
• Mikolov, et al.  (2013) Distributed representations of words and phrases and their  compositionality NeurIPS
• Sutskever, Vinyals, Le (2014) Sequence to Sequence Learning with Neural Networks NeurIPS

• Vaswani, Shazeer, Parmar, et al. (2017) Attention Is All You Need NeurIPS 
• Devlin, Chang, Lee, Toutanova (2019) BERT: Pre-training of Deep Bidirectional Transformers for Language  Understanding NAACL