李宏毅机器学习笔记.Flow-based Generative Model(补)-CSDN博客

原视频见油管https://www.youtube.com/watch?v=uXY18nzdSsM
Latex编辑器

引子

之前有讲过三种生成模型
1.Component-by-component (也叫Auto-regressive Model)按component进行生成如何确定最佳的生成顺序而且一个个的生成会使得速度比较慢。特别是语音生成一秒钟需要生成的采样点个数约为20万个有人声称生成一秒钟合成90分。
2.AutoencoderVAE这个模型证明了是在优化似然的Lower bound而非去maximize似然这样的效果有多好还不好说。
3.Generative Adversarial Network(GAN)虽然很强但是很难训练。

生成问题回顾Generator

A generator $G$ is a network. The network defines a probability distribution $p_G$
为什么说生成器网络定义了一个概率分布看下面的流程

图中$G$吃一个向量$z$得到一个表示$x=G(z)$这个$x$是一个高维向量是一张图像$x$里面每一个维度就是这个图像的每一个像素。
输入向量$z$是用一个Normal Distribution中采样得来的

因此经过多次采样经过$G$后会得到一个比较复杂的分布$p_G$

我们希望找到一个$G$使得其生成的分布$p_G$与实际图像分布$p_{data}(x)$越接近越好。

越接近越好就是要求最大似然也就是要使得$p_G(x)$的似然与$p_{data}(x)$采样得到的样本越接近越好用数学表示为
G ∗ = a r g max ⁡ G ∑ i = 1 m log ⁡ p G ( x i ) , { x 1 , x 2 , ⋯   , x m }   f r o m   p d a t a ( x ) ≈ a r g min ⁡ G K L ( p d a t a ∣ ∣ p G ) \begin{aligned} G^*&=arg\max_G\sum_{i=1}^{m}\log p_G(x^i),\{x^1,x^2,\cdots,x^m\}\text{ } from\text{ } p_{data}(x)\\ &\approx arg\min_G KL(p_{data}||p_G)\end{aligned} G∗​=argGmax​i=1∑m​logpG​(xi),{x1,x2,⋯,xm} from pdata​(x)≈argGmin​KL(pdata​∣∣pG​)​
上式中的求两个概率越接近越好也相当于求他们的KL散度越小越好。
由于$G$是一个网络因此其生成概率的最大似然非常难求Flow-based Generative Model提出了一种可以直接求最大似然的方法接下来进入难点补充部分数学推导。

Math Background

三个东西Jacobian, Determinant, Change of Variable Theorem

Jacobian Matrix

假如有一个函数$x=f(z)$吃一个二维向量$z=\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]$得到输出$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$。Jacobian Matrix的输入和输出维度不一定一样这里先简化来举例
这里的函数可以看做上面提到的生成器$G$。
函数$x=f(z)$的Jacobian Matrix $J_f$可以写为输入和输出两两组合做偏导后形成的矩阵
$$J_f=\left[\begin{array}{cc}\frac{\partial x_1}{\partial z_1}& \frac{\partial x_1}{\partial z_2}\\ \frac{\partial x_2}{\partial z_1}& \frac{\partial x_2}{\partial z_2}\end{array}\right]\text{\hspace{1em}(1)}$$

---

Jacobian Matrix小例子假如有这样的函数
$$\left[\begin{array}{c}{z}_1+z_2\\ 2z_2\end{array}\right]=f\left(\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]\right)$$
则根据上面的公式1可以求得
$$J_f=\left[\begin{array}{cc}\frac{\partial (z_1+z_2)}{\partial z_1}& \frac{\partial (z_1+z_2)}{\partial z_2}\\ \frac{\partial 2z_2}{\partial z_1}& \frac{\partial 2z_2}{\partial z_2}\end{array}\right]=\left[\begin{array}{cc}1& 1\\ 2& 0\end{array}\right]$$

---

同理若有$z=f^{-1}(x)$则有函数$f$inverse 的Jacobian Matrix
$$J_{f^{-1}}=\left[\begin{array}{cc}\frac{\partial z_1}{\partial x_1}& \frac{\partial z_1}{\partial x_2}\\ \frac{\partial z_2}{\partial x_1}& \frac{\partial z_2}{\partial x_2}\end{array}\right]\text{\hspace{1em}(2)}$$
公式1和2的两个矩阵互逆二者的乘积结果是Identity矩阵对角线是1其他都是0。

---

反函数的Jacobian Matrix小例子假如有这样的函数
$$\left[\begin{array}{c}{x}_2/2\\ x_1-x_2/2\end{array}\right]=f^{-1}\left(\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]\right)$$
则根据上面的公式2可以求得
$$J_{f^{-1}}=\left[\begin{array}{cc}\frac{\partial (x_2/2)}{\partial x_1}& \frac{\partial (x_2/2)}{\partial x_2}\\ \frac{\partial (x_1-x_2/2)}{\partial x_1}& \frac{\partial (x_1-x_2/2)}{\partial x_2}\end{array}\right]=\left[\begin{array}{cc}0& 1/2\\ 1& -1/2\end{array}\right]$$

两个小例子的结果相乘
$$J_f{J}_{f^{-1}}=\left[\begin{array}{cc}1& 1\\ 2& 0\end{array}\right]\left[\begin{array}{cc}0& 1/2\\ 1& -1/2\end{array}\right]=I$$

---

Determinant 行列式

The determinant of a square matrix is a scalar that provides information about the matrix.
对于2×2的矩阵
$$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$$
有
$$det(A)=ad-bc$$

对于3×3的矩阵
$$\left[\begin{array}{ccc}{a}_1& a_2& a_3\\ a_4& a_5& a_6\\ a_7& a_8& a_9\end{array}\right]$$
有
$$det(A)=a_1{a}_5{a}_9+a_2{a}_6{a}_7+a_3{a}_4{a}_8-a_3{a}_5{a}_7-a_2{a}_4{a}_9-a_1{a}_6{a}_8$$
行列式性质
$$det(A)=\frac{1}{det(A^{-1})}$$
对于Jacobian Matrix则有
$$det(J_f)=\frac{1}{det(J_{f^{-1}})}$$
行列式的几何含义是指行向量在高维空间形成的体积。对于低维例如下面2×2的矩阵其行列式就对应了其行向量所形成的面积

对于3×3的矩阵其行列式就对应了其行向量所形成的体积

Change of Variable Theorem

变量变换定理。

简单实例

假设有分布$\pi (z)$其图像如下

另有函数可以以上面的分布作为输入$x=f(z)$得到的结果是另外一个分布$p(x)$其图像如下

现在要弄清楚$\pi (z)$和$p(x)$两个分布之间的关系。

下面来看简单的例子假设分布$\pi (z)$如下图

可以看到$\pi (z)$是一个简单的均匀分布它在0~1之间有分布。根据概率的定义
$${\int }_0^1\pi (z)dz=1$$
因此可以知道该分布的高度为1。
令假设有函数
$$x=f(z)=2z+1$$
则可以得到函数生成的分布$p(x)$的图像为

由于$p(x)$是概率分布因此其也要满足
$${\int }_1^{3}p(x)dx=1$$
则绿色分布的高度为0.5则可以德奥两个分布之间的关系

可以写成
$$p(x^{\prime })=\frac{1}{2}\pi (z^{\prime })$$

一维实例

下面再推广到更一般的情况。
现在有一个分布记为$\pi (z)$它经过一个变换或者按上面的说法经过一个函数后得到另外一个分布$p(x)$对于下图而言$z^{\prime }$通过变换后就到$x^{\prime }$的位置对应的概率密度从$\pi (z^{\prime })$变成了$p(x^{\prime })$。

虽然我们不知道$\pi (z)$和$p(x)$具体的公式但是我们如果知道变换所涉及的函数是可以写出二者的关系的这就是通过Change of Variable Theorem来找到这个关系的过程。
先将$z^{\prime }$做一个小小的变动成为$z^{\prime }+\Delta z$相应的根据变换函数可以得到对应的$x^{\prime }+\Delta x$

由于我们做的小小的变动因此从$z^{\prime }$到$z^{\prime }+\Delta z$对应的概率密度可以看做是均匀分布同理从$x^{\prime }$到$x^{\prime }+\Delta x$应的概率密度也可以看做是均匀分布

相当于将蓝色方块经过变形得到绿色方块二者的面积是相等的二者长×宽应该结果一样。即
$$p(x^{\prime })\Delta x=\pi (z^{\prime })\Delta z$$
移项办得到二者的关系可以写为
$$p(x^{\prime })=\pi (z^{\prime })\frac{\Delta z}{\Delta x}$$
由于$\Delta$是很小的值因此根据导数的概念上式可以写为
$$p(x^{\prime })=\pi (z^{\prime })\frac{dz}{dx}$$
由于上面的求导项可能有正负

因此要加上绝对值避免负值
$$p(x^{\prime })=\pi (z^{\prime })\left|\frac{dz}{dx}\right|$$

二维实例

对于二维的情况

同样的现在有一个分布记为$\pi (z)$它经过一个变换后得到另外一个分布$p(x)$对于下图而言$z^{\prime }$通过变换后就到$x^{\prime }$的位置对应的概率密度从$\pi (z^{\prime })$变成了$p(x^{\prime })$。
还是给$z^{\prime }$做一个小小的变动蓝色方形和绿色菱形的对应的概率密度体积应该相等。这里的体积就是底面积×概率密度蓝色底面积好求绿色菱形底面积用上面的行列式的几何概念来求可以看到下图中菱形可以写为成两个向量的表示$[\Delta x_{11},\Delta x_{21}]$$[\Delta x_{12},\Delta x_{22}]$。

最后就是写成
$$p(x^{\prime })\left|det\left[\begin{array}{cc}\Delta x_{11}& \Delta x_{21}\\ \Delta x_{12}& \Delta x_{22}\end{array}\right]\right|=\pi (z^{\prime })\Delta z_1\Delta z_2\text{\hspace{1em}(3)}$$

下面开始数学上的化简假设变换函数为$x=f(z)$则公式3可以写为
$$p(x^{\prime })\left|\frac{1}{\Delta z_1\Delta z_2}det\left[\begin{array}{cc}\Delta x_{11}& \Delta x_{21}\\ \Delta x_{12}& \Delta x_{22}\end{array}\right]\right|=\pi (z^{\prime })$$
根据线代的指数将分数项放入行列式
$$p(x^{\prime })\left|det\left[\begin{array}{cc}\frac{\Delta x_{11}}{\Delta z_1}& \frac{\Delta x_{21}}{\Delta z_1}\\ \frac{\Delta x_{12}}{\Delta z_2}& \frac{\Delta x_{22}}{\Delta z_2}\end{array}\right]\right|=\pi (z^{\prime })$$
由于
$\Delta x_{11}$是$\Delta z_1$在$x_1$上的改变量
$\Delta x_{21}$是$\Delta z_1$在$x_2$上的改变量
$\Delta x_{12}$是$\Delta z_2$在$x_1$上的改变量
$\Delta x_{22}$是$\Delta z_2$在$x_2$上的改变量。
上面的式子可以写成
$$p(x^{\prime })\left|det\left[\begin{array}{cc}\frac{\partial x_1}{\partial z_1}& \frac{\partial x_2}{\partial z_1}\\ \frac{\partial x_1}{\partial z_2}& \frac{\partial x_2}{\partial z_2}\end{array}\right]\right|=\pi (z^{\prime })$$
将矩阵进行Transpose不会改变行列式的值上式可以写成
$$p(x^{\prime })\left|det\left[\begin{array}{cc}\frac{\partial x_1}{\partial z_1}& \frac{\partial x_1}{\partial z_2}\\ \frac{\partial x_2}{\partial z_1}& \frac{\partial x_2}{\partial z_2}\end{array}\right]\right|=\pi (z^{\prime })$$
上面行列式中的句子和公式1中的Jacobian Matrix形式一样因此可以写成
$$p(x^{\prime })\left|det(J_f)\right|=\pi (z^{\prime })\text{\hspace{1em}(4)}$$
也可以写为
$$p(x^{\prime })=\pi (z^{\prime })\left|\frac{1}{det(J_f)}\right|=\pi (z^{\prime })|det(J_{f^{-1}})|\text{\hspace{1em}(5)}$$

网络G的限制

先把上面最大似然的式子copy下来
G ∗ = a r g max ⁡ G ∑ i = 1 m log ⁡ p G ( x i ) , { x 1 , x 2 , ⋯   , x m }   f r o m   P d a t a ( x ) G^*=arg\max_G\sum_{i=1}^{m}\log p_G(x^i),\{x^1,x^2,\cdots,x^m\}\text{ } from\text{ } P_{data}(x) G∗=argGmax​i=1∑m​logpG​(xi),{x1,x2,⋯,xm} from Pdata​(x)
根据上面公式5可以把$p_G$写成
$$p_G(x^i)=\pi (z^i)|det(J_{G^{-1}})|$$
由已知的$x=G(z)$可以得其反函数为$z^i=G^{-1}(x^i)$带入上式
$$p_G(x^i)=\pi \left(G^{-1}(x^i)\right)\left|det(J_{G^{-1}})\right|$$
两边同时取对数然后乘变加展开
$$\begin{array}{rl}\log p_G(x^i)& =\log \left[\pi \left(G^{-1}(x^i)\right)\left|det(J_{G^{-1}})\right|\right]\\ & =\log \left(G^{-1}(x^i)\right)+\log \left|det(J_{G^{-1}})\right|\end{array}$$
要求$G^{\ast }$就是要求上式的最大值如果要想用GD来求解必须要计算两个东西
1.$det(J_{G^{-1}})或det(J_G)$这个还比较好算就是要计算输入$z$和输出$x$的偏导即可但是如果输入和输出各自有1000维由于Jacobian Matrix是输入输出的各个维度的两两偏导其大小就是1000×1000这个大小的矩阵求行列式的值计算量会很大。
2.$G^{-1}$主要是要确保$G$有反函数由于$G$是一个网络因此其构架要精心设计才会有反函数。

根据上面的两点如果要输出一张100×100×3的图片那么输入也要100×100×3这个是确保$G$有反函数的必要条件。
显然网络$G$不可以是简单的、任意的类似CNN、RNN等网络架构于是就有了流式设计。

基于Flow的网络构架

一个网络$G$不够因此考虑像流水一样设计多个网络进行concat

根据上面的公式这些网络之间的输入输出关系如下
$$\begin{array}{rl}{p}_1(x^i)& =\pi \left(z^i\right)\left(\left|det(J_{G_1^{-1}})\right|\right)\\ p_2(x^i)& =\pi \left(z^i\right)\left(\left|det(J_{G_1^{-1}})\right|\right)\left(\left|det(J_{G_2^{-1}})\right|\right)\\ & ⋮\\ p_K(x^i)& =\pi \left(z^i\right)\left(\left|det(J_{G_1^{-1}})\right|\right)\cdots \left(\left|det(J_{G_K^{-1}})\right|\right)\end{array}$$
两边同时取对数乘变加
$$\log p_K(x^i)=\log \pi \left(z^i\right)+\sum _{h=1}^K\log \left|det(J_{G_K^{-1}})\right|\text{\hspace{1em}(6)}$$
其中
$$z^i=G_1^{-1}\left(\cdots G_K^{-1}\left(x^i\right)\right)$$
现在要求的就是公式6的最大化。

G的训练

为了求公式6的最大化这里先简化一下问题先考虑只有一个$G$情况

此时需要最大化的式子为
$$\log p_G(x^i)=\log \pi \left(G^{-1}\left(x^i\right)\right)+\log \left|det(J_{G^{-1}})\right|\text{\hspace{1em}(7)}$$
式子中只有出现$G^{-1}$因此可以训练一个$G^{-1}$对应的网络训练好后将其输入输出反过来就变成了$G$。
具体训练过程是从真实数据$p_{data}(x)$中采样一些样本$x^i$出来丢进$G^{-1}$对应的网络得到对应的$z^i$

先看公式7中的前半部分
$$\log \pi \left(G^{-1}\left(x^i\right)\right)$$
这里的$\pi$是正态分布也就是当$z^i=G^{-1}\left(x^i\right)=0$的时候正态分布$\pi$会得到最大值正态分布最正中的地方就是波峰
如果$z^i$趋向于0或者说0向量的时候其对应的Jacobian Matrix$J_{G^{-1}}$也会是0矩阵因为该矩阵每个元素都是要求$z$对$x$的偏导0矩阵的行列式$det(J_{G^{-1}})=0$再取对数会使得公式7中的后半部分趋向于负无穷大。
总之就是一项要使得$z^i$趋向于0后一项使得$z^i$不为0。

Coupling Layer

Coupling Layer反函数计算

这个设计可以参考两篇文章NICE: Non-linear Independent Components Estimation、Density estimation using Real NVP
具体结构如下图

假设$z$是$D$维先将其分成两部分分别是$z_1,\cdots ,z_d$和$z_{d+1},\cdots ,z_D$。
1.将$z$的第一部分$z_1,\cdots ,z_d$直接复制成为$x$的第一部分$x_1,\cdots ,x_d$
2.将$z$的第一部分$z_1,\cdots ,z_d$分别丢进两个网络$F$和$H$两个网络没有invertiable的限制可以是深度CNN分别得到${\beta }_{d+1},\cdots ,{\beta }_D$和${\gamma }_{d+1},\cdots ,{\gamma }_D$
3.将$z$的第二部分$z_{d+1},\cdots ,z_D$先和${\beta }_{d+1},\cdots ,{\beta }_D$点积然后再加上${\gamma }_{d+1},\cdots ,{\gamma }_D$得到$x$的第二部分$x_{d+1},\cdots ,x_D$
$$x_{i>d}={\beta }_i{z}_i+{\gamma }_i$$

Coupling Layer之所以这样设计就是可以计算反函数现在利用$x$来算$z$看下图的红线及序号

1.将$x$的第一部分$x_1,\cdots ,x_d$直接复制成为$z$的第一部分$z_1,\cdots ,z_d$
2.和上面的步骤2一样将$z$的第一部分$z_1,\cdots ,z_d$分别丢进两个网络$F$和$H$分别得到${\beta }_{d+1},\cdots ,{\beta }_D$和${\gamma }_{d+1},\cdots ,{\gamma }_D$
3.根据以下公式计算$z_{i>d}$
$$z_{i>d}=\frac{x_i-{\gamma }_i}{{\beta }_i}$$

Coupling Layer Jacobian矩阵计算

先把上面的Coupling Layer 结构简化成下面的样子注意颜色

将Jacobian矩阵的计算结果分为四个部分这里的颜色和上面的简化模型颜色是对应的

左上角是Identity矩阵因为这里$x_{i<d}=z_{i<d}$浅蓝对浅绿的偏导结果除了对角线其他位置都是0
右上角结果是0因为这里浅蓝部分$x_1,\cdots ,x_d$与深绿部分$z_{d+1},\cdots ,z_D$无关求偏导后均为0
左下角的内容不需要考虑因为左上角是Identity矩阵和右上角是0整个灰色大矩阵的行列式的值等于右下角的行列式的值这个是行列式的某个推论
右下角就是要看深绿和深蓝部分的关系他们的关系在上面有写
$$x_{i>d}={\beta }_i{z}_i+{\gamma }_i\text{\hspace{1em}(8)}$$
从这个式子可以看到$x_{d+1}$只与$z_{d+1}$有关与$z_{d+2},\cdots ,z_D$无关因此右下角只有对角线上有值但不为1是一个对角线矩阵。
现在问题变成要求右下角矩阵行列式的值由于右下角是一个对角线矩阵因此其行列式的值等于对角线上的所有值的乘积行列式定义简单推导即可得到该结论可写为
$$det(J_G)=\frac{\partial x_{d+1}}{\partial z_{d+1}}\frac{\partial x_{d+2}}{\partial z_{d+2}}\cdots \frac{\partial x_D}{\partial z_D}$$
根据公式8可以将每一项偏导求出来
$$det(J_G)={\beta }_{d+1}{\beta }_{d+2}\cdots {\beta }_D$$

Coupling Layer Stacking

下面来看Coupling Layer如何叠加假设有多个Coupling Layer如下图

按照单个Coupling Layer的原理我们发现它会把第一层浅黄色部分直接copy到最后一层这样会使得最后的部分和原始输入的noise一样原始输入是从搞屎分布中随机sample出来这样没有啥意义。

因此在堆叠的时候可以适当做一些反向注意看函数的箭头

经过Copy操作后变成

在做图像生成实操的时候如何做反向有两种方法
第一种按棋盘式的前后两两反向

第二种将图片的channel进行反接一层做copy一层做Transform

两种方法还可以混合使用。

1×1 Convolution

另外一个技巧让基于Flow的网络构架对称的技巧就是1×1的卷积这个是15年就提出来的概念但是22年又用在了GLOW上面使得我们在不使用GAN的情况下也能做图像生成。
Glow: Generative Flow with Invertible 1x1 Convolutions

假设输入为$z$输出为$x$由于是图像问题图片中每个像素看做一个单位且有RGB三个channel1×1的卷积过程如下图所示

将$z$中的每一个像素对应的3个channel与大小为3×3的矩阵$W$相乘得到x相同位置上的一个像素的3个channel。
$$x=f(z)=Wz\text{\hspace{1em}(9)}$$
矩阵$W$是通过训练学习得来其作用为将3个channel进行shuffle例如
$$\stackrel{W}{\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]}\left[\begin{array}{c}1\\ 2\\ 3\end{array}\right]=\left[\begin{array}{c}3\\ 1\\ 2\end{array}\right]$$
这样就可以使得在用Coupling Layer stacking的时候不需要进行反接而是让模型自己学习$W$决定如何来交换channel的位置。将$W$加入Generator构架$G$中后也必须是是invertiable的即$W$必须存在$W^{-1}$。GLOW文章中没有证明$W$一定可逆仅提到使用了存在$W^{-1}$的$W$进行初始化并希望在模型自动学习收敛后$W$还是可逆。当然三阶矩阵不可逆的条件比较苛刻除非该矩阵对应的行列式值为0一般三阶矩阵都可以满足可逆这一条件。

下面根据公式9来求单个像素点对应的Jacobian Matrix将该公式写开
$$\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]\left[\begin{array}{c}{z}_1\\ z_2\\ z_3\end{array}\right]$$
Jacobian Matrix计算结果就为
$$j_f=\left[\begin{array}{ccc}\partial x_1/\partial z_1& \partial x_1/\partial z_2& \partial x_1/\partial z_3\\ \partial x_2/\partial z_1& \partial x_2/\partial z_2& \partial x_2/\partial z_3\\ \partial x_3/\partial z_1& \partial x_3/\partial z_2& \partial x_3/\partial z_3\end{array}\right]=\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]=W$$

接下来看整个图片的Jacobian Matrix假设图片大小是$d\times d$

根据上面的图来看只有对应位置上的像素点做了乘$W$的操作而与其他像素点是没有关系的因而整个图片的Jacobian Matrix可以表示为下图

只有对角线部分是由一个个$W$组成其他位置都是0根据线性代数的推论整个矩阵的行列式的值为
$${\left(det(W)\right)}^{d\times d}$$
由于$W$是3×3的矩阵其行列式的值很容易算可参加上面有公式。

GLOW效果

接下来演示了OpenAI的GLOW模型效果GLOW模型效果合成

魔改笑脸收集不笑的人脸和有笑容的人脸通过$G^{-1}$求向量后分别求两组人脸的平均然后求差就得到从不笑到笑之间的向量为$z_{simle}$

找一张要改笑容的图片通过$G^{-1}$求向量后加上$z_{simle}$再过$G$得到结果

其他工作

语音合成
Parallel WaveNet: Fast High-Fidelity Speech Synthesis

WaveGlow: A Flow-based Generative Network for Speech Synthesis