Keras 自定义loss函数 focal loss + triplet loss

上一节中已经阐述清楚了，keras.Model的输入输出与loss的关系。

https://spaces.ac.cn/archives/4493/comment-page-1#comments

非常简单，其实和官方写的方法一样。比如MSE：

注意的是，损失函数def mean_squared_error(y_true, y_pred)中的两个参数是固定的,由Keras自动注入。第一个参数来自于model.fit(x=[],y=[])中的y中的第n个，代表的是真实标签。第二个参数来自于推理后model.outputs相应位置的输余知出。

同时，model.compile()方法中loss传入的是方法体名称，非方法的return。

https://github.com/umbertogriffo/focal-loss-keras/blob/master/losses.py

为了传入超参数，使用了python的wrapper模式构建函数，函数实际返回的是内部函数的名称，符合上述定义。

https://stackoverflow.com/questions/53996020/keras-model-with-tf-contrib-losses-metric-learning-triplet-semihard-loss-asserti

https://github.com/rsalesc/TCC/blob/master/scpd/tf/keras/common.py

由于triplet loss的输入比较特殊，是label(非one-hot格式)与嵌入层向量，因此，对应的，我们在keras的数据输入阶段，提供的第二个label就得是非one-hot格式。同时，model构造中得定义嵌入竖散消层，并使用L2正则化，且作为model的一个output以方便loss中调用。

实例中，定义模型时，我们分开定义嵌入层的logits与激活函数，以提取出来嵌入层的值。

当然，在输入数据的生成器中，也必须每次:

yield img,[one_hot_label, label] 以对应。

之后即可构造自定义的triplet loss func：

最后在compile中调用即可：

网易云课堂-吴恩达深度学习的triplet loss章节

https://blog.csdn.net/weixin_40400177/article/details/105213578

https://blog.csdn.net/qq_36387683/article/details/83583099

https://zhuanlan.zhihu.com/p/121763855

Easy Triplets 显然不应加入训练，因为它的损失为0，加在loss里面会拉低loss的平均值。Hard Triplets 和 Semi-Hard Triplets 的选择则见仁见智，针对不同的任务需求，可以只选择Semi-Hard Triplets或者Hard Triplets，也可以两者混用。

如图中所示，其实最难分类的是

semi-hard triplets：d(a,p) <d(a,n) <d(a,p) + margin

我们试图找出这样的图片对来加以训练。

可以使用离线学习，每次训练先找到难分类的图片对，然后喂入网络，但是这样很麻烦，且网络结构同样不好设计。因此使用在线挖掘，即每次在一个batch即B个特征向量中，去挖掘出（a，p）和最难分类的（a，n）来计算loss并反向传播。

官方API：

官方解释的很清楚了，就是想让处于semi-hard区域的最小的d(a,n)尽量去远离>d(a,p)+margin，而由于该(a,n)处于semi-hard区域掘芦因此该d(a,n)必须至少>d(a,p)。若找不到这样的(a,n)，则表明可能(a,n)比起(a,p)更小，因此使用最大的(a,n)代替。

用keras框架较为方便

首先安装anaconda，然后通过pip安装keras

以下转自wphh的博客。

#coding:utf-8

''友岩者'

    GPU run command:

        THEANO_FLAGS=mode=FAST_RUN,device=gpu,floatX=float32 python cnn.py

    CPU run command:

        python cnn.py

2016.06.06更新：

这份代码是keras开发初期写的，当时keras还没有现在这么流行，文档也还没那么丰富，所以我当时写了一些简单的教程。

现在keras的API也发生了一些的变化，建议及推荐直接上keras.io看更加详细的教程。

'''

#导入各种用到的模块组件

from __future__ import absolute_import

from __future__ import print_function

from keras.preprocessing.image import ImageDataGenerator

from keras.models import Sequential

from keras.layers.core import Dense, Dropout, Activation, Flatten

from keras.layers.advanced_activations import PReLU

from keras.layers.convolutional import Convolution2D, MaxPooling2D

from keras.optimizers import SGD, Adadelta, Adagrad

from keras.utils import np_utils, generic_utils

from six.moves import range

from data import load_data

import random

import numpy as np

np.random.seed(1024)  # for reproducibility

#加载数据

data, label = load_data()

#打乱数据

index = [i for i in range(len(data))]

random.shuffle(index)

data = data[index]

label = label[index]

print(data.shape[0], ' samples')

#label为0~9共10个类别，keras要求格式为binary class 枣祥matrices,转化一下，直接调用keras提供的这个函数

label = np_utils.to_categorical(label, 10)

###############

#开始建立CNN模型

###############

#生成一个model

model = Sequential()

#第一个卷积层，4个卷积核，每个卷积核大小5*5。1表示输入的图片的通道,灰度图为1通道。

#border_mode可以是valid或者full，具体看这里好薯说明：http://deeplearning.net/software/theano/library/tensor/nnet/conv.html#theano.tensor.nnet.conv.conv2d

#激活函数用tanh

#你还可以在model.add(Activation('tanh'))后加上dropout的技巧: model.add(Dropout(0.5))

model.add(Convolution2D(4, 5, 5, border_mode='valid',input_shape=(1,28,28))) 

model.add(Activation('tanh'))

#第二个卷积层，8个卷积核，每个卷积核大小3*3。4表示输入的特征图个数，等于上一层的卷积核个数

#激活函数用tanh

#采用maxpooling，poolsize为(2,2)

model.add(Convolution2D(8, 3, 3, border_mode='valid'))

model.add(Activation('tanh'))

model.add(MaxPooling2D(pool_size=(2, 2)))

#第三个卷积层，16个卷积核，每个卷积核大小3*3

#激活函数用tanh

#采用maxpooling，poolsize为(2,2)

model.add(Convolution2D(16, 3, 3, border_mode='valid')) 

model.add(Activation('relu'))

model.add(MaxPooling2D(pool_size=(2, 2)))

#全连接层，先将前一层输出的二维特征图flatten为一维的。

#Dense就是隐藏层。16就是上一层输出的特征图个数。4是根据每个卷积层计算出来的：(28-5+1)得到24,(24-3+1)/2得到11，(11-3+1)/2得到4

#全连接有128个神经元节点,初始化方式为normal

model.add(Flatten())

model.add(Dense(128, init='normal'))

model.add(Activation('tanh'))

#Softmax分类，输出是10类别

model.add(Dense(10, init='normal'))

model.add(Activation('softmax'))

#############

#开始训练模型

##############

#使用SGD + momentum

#model.compile里的参数loss就是损失函数(目标函数)

sgd = SGD(lr=0.05, decay=1e-6, momentum=0.9, nesterov=True)

model.compile(loss='categorical_crossentropy', optimizer=sgd,metrics=["accuracy"])

#调用fit方法，就是一个训练过程. 训练的epoch数设为10，batch_size为100．

#数据经过随机打乱shuffle=True。verbose=1，训练过程中输出的信息，0、1、2三种方式都可以，无关紧要。show_accuracy=True，训练时每一个epoch都输出accuracy。

#validation_split=0.2，将20%的数据作为验证集。

model.fit(data, label, batch_size=100, nb_epoch=10,shuffle=True,verbose=1,validation_split=0.2)

"""

#使用data augmentation的方法

#一些参数和调用的方法，请看文档

datagen = ImageDataGenerator(

        featurewise_center=True, # set input mean to 0 over the dataset

        samplewise_center=False, # set each sample mean to 0

        featurewise_std_normalization=True, # divide inputs by std of the dataset

        samplewise_std_normalization=False, # divide each input by its std

        zca_whitening=False, # apply ZCA whitening

        rotation_range=20, # randomly rotate images in the range (degrees, 0 to 180)

        width_shift_range=0.2, # randomly shift images horizontally (fraction of total width)

        height_shift_range=0.2, # randomly shift images vertically (fraction of total height)

        horizontal_flip=True, # randomly flip images

        vertical_flip=False) # randomly flip images

# compute quantities required for featurewise normalization 

# (std, mean, and principal components if ZCA whitening is applied)

datagen.fit(data)

for e in range(nb_epoch):

    print('-'*40)

    print('Epoch', e)

    print('-'*40)

    print("Training...")

    # batch train with realtime data augmentation

    progbar = generic_utils.Progbar(data.shape[0])

    for X_batch, Y_batch in datagen.flow(data, label):

        loss,accuracy = model.train(X_batch, Y_batch,accuracy=True)

        progbar.add(X_batch.shape[0], values=[("train loss", loss),("accuracy:", accuracy)] )

"""

---