【学习】Reptile、梯度下降的LSTM、Siamese Network、原型网络、匹配网络、关系网络
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
文章目录
Reptile
RNN
LSTM
RNN的变形
加入门
梯度下降的LSTM
GD看似像简化的LSTM
可以让机器自动学习这些zf和zi
典型的LSTM的c和x是没有关系的但是GD的LSTM的θ和输入的梯度是有关系的。
优点:合理的模型尺寸;在典型的梯度下降中所有参数使用相同的更新规则;训练和测试模型架构可以不一样。
参数更新不仅取决于当前梯度还取决于先前的梯度。
加入另一个LSTMm存储之前的数据
基于度量的方法
学习一个能同时输入训练资料和测试资料输出结果的网络。
Siamese Network
暹罗网络-直观解释:二元分类问题:“它们是相同的吗?”
图片经过cnn之后得到的数据如果是同一张脸就会很相近不同就会很远。
auto-encoder会保留图片的所有资料。
我们应该使用什么样的距离?
N-way Few/One-shot Learning
假如任务是分类问题而不是回答是否的问题。
原型网络
匹配网络
s层经过多跳相似记忆网络之后才得到输出
关系网络
使用另外的网络计算相似度。
虚拟数据的少量学习
使用生成器一张图片经过G生成多张图然后放到网络里面。
Train + Test as RNN
输入embedding和类别的one-hot 向量训练不了