Self-Attention-自注意机制

Original paper:

1. Bahdanau, Cho, & Bengio. Neural machine translation by jointly learning to align and translate. In ICLR, 2015.
2. Cheng, Dong, & Lapata. Long Short-Term Memory-Networks for Machine Reading. In EMNLP, 2016.

Self-Attention-自注意机制

在此之前你应该知道
Simple RNN Model
Long Short Term Memory (LSTM)
Attention-自注意机制
初始c₀ = 0h₀ = 0 全0向量

simple-RNN新的状态h_t依赖于新的输入X₁和上次状态h_t-1
两者不一样的地方在于h₀换成了c₀

c₁ = h₁,
重复以下计算

想要计算新的C₂首先得计算h_i与h₂的相关性a_i相关性计算在上一篇Attention-自注意机制有介绍这里便不累赘了

不断重复以上过程

通过self-attention自注意RNN 不太容易忘记且容易关注相关信息。