零基础机器学习做游戏辅助第八课--使用预训练模型做迁移学习

一、迁移学习的概念

深度学习一般需要多次重复的进行实验来达到预期的效果。在学习过程中需要大量的数据资源和强大的计算能力（GPU或TPU），这些因素是深度学习的必要条件，也是决定深度学习的发展的关键。在企业中海量的数据资源并不容易获取，特别是高质量的特定领域数据。要构建深度学习系统。高质量的大数据是必须的。但是企业想要获取大量数据已经很困难了，想要获取高质量的特定领域数据更加困难。。

为了解决这种困局，迁移学习随之诞生。迁移学习的原理是根据模型、数据、任务、结果等的相似性，将相近的旧模型上作为训练基础去训练新的数据的过程。从这里我们可以得出迁移学习的关键点：新数据与旧数据具有相似性、新任务与旧任务具有相似性、新模型与旧模型具有相似性。就此也引出了迁移学习的应用场景。

二、迁移学习的发展历史

最早被引用的关于迁移学习的工作被认为属于Lorien Pratt。他在1993年制定了基于可辨识性的转移（DBT）算法。

1997年，机器学习期刊发表了一期专门讨论迁移学习的期刊，而到了1998年，该领域已经发展到包括多任务学习，以及对其理论基础的更深入完善的分析。1998年，由Pratt和Sebastian Thrun编辑的 Learning to Learn便是对该主题的回顾。

迁移学习也被应用于认知科学，比如《Connection》杂志就于1996年出版了一版特殊期刊，描述了如何通过使用迁移学习重新利用已有神经网络。

三、迁移学习使用场景

使用迁移学习的主要