深度学习
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
文章目录
参考博客
深入理解L1、L2正则化
PyTorch 实现L2正则化以及Dropout的操作
正则化介绍
正则化Regularization是机器学习中一种常用的技术其主要目的是控制模型复杂度减小过拟合。最基本的正则化方法是在原目标代价函数 中添加惩罚项对复杂度高的模型进行“惩罚”。其数学表达形式为
J
ˇ
(
w
;
X
,
y
)
=
J
(
w
;
X
,
y
)
+
α
Ω
(
w
)
\check{J}(w; X, y)=J(w; X, y) + \alpha\Omega(w)
Jˇ(w;X,y)=J(w;X,y)+αΩ(w)
式中
X
,
y
X, y
X,y为训练样本和相应标签,
w
w
w为权重系数向量;
J
(
)
J()
J()为目标函数,
Ω
(
w
)
\Omega(w)
Ω(w)即为惩罚项, 可理解为模型"规模"的某种度量; 参数
α
\alpha
α控制正则化的强弱. 不同的
Ω
\Omega
Ω函数对权重w的最优解有不同的偏好, 因而会产生不同的正则化效果. 最常用的
Ω
\Omega
Ω函数有两种, 即
l
1
l_1
l1范数与
l
2
l_2
l2范数, 相应称之为
l
1
l_1
l1正则化和
l
2
l_2
l2正则化.此时有:
l
1
:
Ω
(
w
)
=
∣
∣
w
∣
∣
1
=
∑
i
∣
w
i
∣
l_1: \Omega(w)=||w||_1=\sum_i|w_i|
l1:Ω(w)=∣∣w∣∣1=∑i∣wi∣
l
2
:
Ω
(
w
)
=
∣
∣
w
∣
∣
2
=
∑
i
w
i
2
l_2: \Omega(w)=||w||_2=\sqrt{\sum_iw_i^2}
l2:Ω(w)=∣∣w∣∣2=∑iwi2
正则化的实现
在Pytorch中正则化的实现只需要一行代码, 如下:
optimizer = torch.optim.SGD(model.parameters(), \
lr=config.learning_rate, momentum=0.9, weight_decay=0.000001)
在这个函数调用中 w e i g h t _ d e c a y = 0.001 weight\_decay=0.001 weight_decay=0.001就是L2范数.