如何利用Caffe训练ImageNet分类网络

1.下载好来自ImageNet的training和validation数据集合；分别存放在如下的格式：

/path/to/imagenet/train/n01440764/n01440764_10026.JPEG

/path/to/imagenet/val/ILSVRC2012_val_00000001.JPEG

2. 进行一些预处理 *** 作：

cd $CAFFE_ROOT/data/ilsvrc12/

./get_ilsvrc_aux.sh

3.训练数据和测试数据分别放在train.txt和val.txt中，里面有他们的文件和相对应的标签；

4. 最后作者把1000类的类名用0--999表示，他们相对应的类别名称则用synset_words.txt 来存储他们之间的映射。

5.作者提到怎么去是否应该先把图像都归一化到256*256中，作者提到用Mapreduce去加快这种过程；

也可以直接这么做：

for name in /path/to/imagenet/val/*.JPEGdo

convert -resize 256x256\! $name $name

Done

6.在 create_imagenet.sh中设置训练的参数，并在里面指定训练和测试的数据库路径，如果图像没有提前归一化到相同的大小，则需要加”RESIZE=true“，设置”GLOG_logtostderr=1 “表示迅和了亩袭盯可以参考更多的信息，

在执行 ./create_imagenet.sh 之后会有新的数据文件生成：

ilsvrc12_train_leveldb 和 ilsvrc12_val_leveldb

7. 因为模型需要我们减去图像的均值，所以我们需要计算图像均值，在工具

tools/compute_image_mean.cpp 实现了这种 *** 作，

或者可以直接用：

./make_imagenet_mean.sh 脚本来进行计算图像均值，并生成：

data/ilsvrc12/imagenet_mean.binaryproto 文件

8.定义网络的结构：imagenet_train_val.prototxt .

里面有两行指定了数据库和图像的路径

source: "ilvsrc12_train_leveldb"

mean_file:"../../data/ilsvrc12/imagenet_mean.binaryproto"

并且指定了 include { phase: TRAIN } or include { phase: TEST } .来区分训练和测试

9.关于输入层的不同：

训练数据中，，data项来自 ilsvrc12_train_leveldb 并且进行了随机镜像 *** 作，测试数据中data项来自于ilsvrc12_val_leveldb 而没有进行随机镜像 *** 作；

10.输出层的不同：

输出层都为 softmax_loss 层，在训练网络当中，用来计算损失函数，并且用来初始化BP过程，测试网络同样有一个第二个输出层，accuracy，它用来报告测试的精度，在训练的过程中，测试网络将实例化并且测试准确率，产成的命令行为：Test score #0: xxx and Test score #1: xxx 等。

11.运行网络，其中设置

每批batch为256个，运行450000次迭代，接近90次epoch；

每1000次迭代，就在用测试集进行测试；

设置初始的学习率为0.01，并且每100000次迭代中进行学习率下降，大概进行20次epoch；

每20次epoch就显示出一些数据信息；

网络训练的动量为0.9，权重衰减因子为0.0005，

每10000次迭代中，就生成当前状态的快照；

这些设置在 examples/imagenet/imagenet_solver.prototxt .中进行设置，并且同样我们需要指定文件的路径：

net: "imagenet_train_val.prototxt"

12.开始训练网络：

./train_imagenet.sh

13. 在K20中，每20个迭代花费36s，所以，一幅图像的一次前馈+反馈（FW+BW）大概需要7ms，前馈花费2.5ms，剩下的是反馈，

可以在 examples/net_speed_benchmark.cpp 中进行时间的查看；禅州

14.因为我们有保存了快照，所以我们可以通过

./resume_training.sh 来进行resume恢复，脚本caffe_imagenet_train_1000.solverstate 保留了要恢复的所有信息，

15.总结，Caffe可以很方便进行通过设置文件的方式来进行设置不同的网络结构。

1、训练模型时保存log日志文件

方法1   一般情况下我们的训练模型标准语句是： $ sudo  ./build/tools/caffe train -solver=xxx/xxx/solver.prototxt       xxx/xxx/表示你的solver.prototxt文件所在位置

  需要保存log文件时的命令是：$ sudo GLOG_logtostderr=0 GLOG_log_dir='xxx/xxx/xxx/' build/tools/caffe train -solver=xxx/xxx/solver.prototxt      ’xxx/xxx/xxx/‘表示你所保存的log文件所在位置。

       训练完成后发现在我们保存的目录xxx/xxx/xxx/下生成了两个上锁log文件caffe.INFO和caffe.ubuntu.root.log.INFO.20170611-103712.5383。点击打开后我们可以看到我们所训练的日志文件。

方法2    ./build/tools/caffe train -solver=xn/PENLU/neural/nin/nin_solver.prototxt 2>&1 | tee xn/PENLU/snapshot/nin/nin_relu.log

2、利用生成的log文件绘制accuary loss曲线图

首先绘制图，caffe中其实已经自带了这样的小工具 caffe-master/tools/extra/parse_log.sh  和caffe-master/tools/extra/extract_seconds.py还有 caffe-master/tools/extra/plot_training_log.py.example拷贝以上文件到当前训练模型的目录下。

      然后我们到你保存的log文件目录下将1中保存的log文件解锁，解锁命令：sudo chmod -R 777 ./caffe.ubuntu.root.log.INFO.20170611-103712.5383

      解锁后我们就可以更改该log文件名为xxx.log（注意：要画图一定是.log文件，所以不改名不可以画）。

然后复制该xxx.log文件到你训练模型所在目录下。

      然后就可以利用命令画图了：在模型所在目录下命令： ./plot_training_log.py.example y xxx.png xxx.log      xxx.png是你保存的绘制出的图片名称，xxx.log是你保存的log文件名称。y表示的是你的所隐竖绘制的图片到底是什么图灶燃大片，具体解释如下：

        y的数字代表意义（0~7）：

Supported chart types:    0: Test accuracy  vs. Iters    (准确率与迭代次数图）

1: Test accuracy  vs. Seconds    （准确率与时间图）

2: Test loss  vs. Iters    （测试损失与迭代次数图）

3: Test loss  vs. Seconds    （测试损失与时间图）

4: Train learning rate  vs. Iters    （学习率与迭代次数图）

5: Train learning rate  vs. Seconds    （学习率与时间图段镇）

6: Train loss  vs. Iters    （训练损失与迭代次数图）

7: Train loss  vs. Seconds   （训练损失与时间图）

运行后生成的文件有：log-data.log.test和log-data.log.test和xxx.png

3、test测试log日志文件保存与绘图类似过程

Ubuntu 14.04 64位机上用Caffe+MNIST训练Lenet网络 *** 作步卜桐骤

将终端定位到Caffe根目录；

2.MNIST数据库型碰坦并解压缩：$ ./data/mnist/get_mnist.sh

3.将其转换成Lmdb数据库吵衫格式：$ ./examples/mnist/create_mnist.sh

执行完此shell脚本后，会在./examples/mnist下增加两个新目录，mnist_test_lmdb和mnist_train_lmdb

4.train model：$ ./examples/mnist/train_lenet.sh

(1)、使用LeNet网络(《Gradient-BasedLearning Applied to Document Recognition》)；

(2)、使用./examples/mnist/lenet_train_test.prototxtmodel；

(3)、使用./examples/mnist/lenet_solver.prototxtmodel；

(4)、执行train_lenet.sh脚本，会调用./build/tools目录下的caffe执行文件，此执行文件的实现是./tools目录下的caffe.cpp文件；

(5)、执行此脚本后，会生成几个文件，其中./examples/mnist/lenet_iter_10000.caffemodel则是最终训练生成的model文件；

(6)、以上默认的是在GPU模式下运行，如果想让其在CPU模式下运行，只需将lenet_solver.prototxt文件中的solver_mode字段值由原来的GPU改为CPU即可。

---