深度学习21天实战caffe学习笔记《2 ：深度学习工具》

深度学习工具汇总

1. Caffe【Convolutional Architecture for Fast Feature Embedding】
—基于C++/CUDA/Python 实现的卷积神经网络，提供面向命令行、matlab、python的接口；
—可以读源代码
—Caffe的main class：Blob 、Layer 、Net 、Solver
—Protocol Buffers：数据交换格式；
—优点：（1）、训练feeddorward network非常简单；
（2）、微调已经存在的网络；
（3）、训练时，不用写代码；
（4）、Python接口；
—缺点：（1）、大网络比如googlenet、resnet等不可行
（2）、用c++/CUDA创建新的GPU层；
（3）、循环网络不太合适；
2. Torch & Overfeat
—用c和Lua这种轻量级脚本语言写的；
—在Facebook、Deepmind、Twitter中很广泛；
—nn用于神经网络；
—CUNN
—Torch的主要部分是Modules：
—nngraph（拓扑结构可使用）；
—Torch7带有8个内置包：
torch、lab&plot、qt、nn、image、optim（优化算法包）、unsup（包括非监督学习算法）、third-party、
—优点：（1）、一些module可以拿来组合使用；
（2）、很方便自己写Layer并且在GPU上运行；
（3）、很多库代码是用Lua写的，易读；
（4）、有很多预训练模型；
—缺点：（1）、用Lua这种不特别流行的语言编写；
（2）、Less plug-and-play than caffe；
（3）、对RNN不太适用；
OverFeat：在ImageNet中使用Torch7训练的特征提取器【图像识别+定位+检测】；
3. MxNet
—吸收了Minerva/Torch7/Theano的优点（多卡、多机分布式运行）；
—编程接口：
–N维数组：通过背后的engine可以在性能和内存上优于其他框架；
–符号接口：可快速搭建一个神经网络，实现自动求导功能。
4. TensorFlow
—异构分布式框架 移植性好 开源
—computation Graphs思想；
—容易可视化 ：tensorboard；
—多GPU（数据并行、模型并行）且多节点训练；
—预训练模型较少；
—优点： （1）、python+numpy；
（2）、计算图（RNNs适用）；
（3）、编译速度快
（4）、可视化；
（5）、data和model并行；
—缺点：（1）、没有很多预训练模型；
5. Theano
—基于python
—计算图：if…else../switch 可抑制图标中的graph；
—高级库：karas lasagne；
—共享变量；
—loops：scan实现循环，很适用于RNNs；
—derivatives：有效的Jacobian/Vector products with R & L operators，symbolic Hessians；
—sparse matrices、optimizations、etc；
—多Gpu
—优点： （1）、python+numpy；
（2）、计算图；
（3）、RNNs很适用；
（4）、High Level Wrapper
—缺点： （1）、错误提示有时候没有帮助；
（2）、大型Model花费太长时间编译；
（3）、预训练模型不是特别好；
* 6. CNTK*
—高性能、高灵活、可扩展性好；
—支持CNN、LSTM、RNN等流行框架
—支持分布式训练