多标签学习-多任务学习

多标签学习-多任务学习

参考搬运：https://blog.csdn.net/cdknight_happy/article/details/105427428

行人属性识别(Pedestrian Attribute Recognition, PAR)，目的是从输入图像中挖掘行人的属性信息。

行人属性识别挖掘得到的是行人的高层语义信息，这些信息和低层特征不同，对视角变换和成像条件的变化比较鲁棒。

计算机视觉领域的很多算法，如ReID和行人检测，都会集成行人的属性信息以提升算法的鲁棒性。

受视角、光线、分辨率等因素的影响，它仍然是一个很有挑战性的领域。

早期的行人属性识别领域主要用的是手工设计的低层特征，如HOG、SIFT，再结合分类算法SVM和条件随机场(CRF)，这些算法在实际应用中的效果不理想。

行人属性识别，一般都会预先设置一个属性列表，RAP算法的目的就是从一张输入图像中找到图像中的人具有预置属性列表中的哪些属性。

影响RAP效果的关键因素：

1. 多视角：不同视角下看同一个人可能会有不同的感受；
2. 遮挡：行人的某些部位被遮挡会影响属性识别；
3. 数据不均衡：不是说训练集中的每一个人都具备属性列表中的所有属性，每个人具备的只是属性列表中的部分属性，因此造成了属性的数据不均衡；
4. 低分辨率：监控场景下、远距离抓拍的行人图像，分辨率往往很小；
5. 光线变化：不同强度、不同角度的光线影响成像效果；
6. 模糊：行人运动时的运动模糊影响属性识别。

难点：RAP中不同类别的属性所属的粒度不同：

如发型、颜色、帽子、眼睛等信息只是局部图像块的低层属性信息，而年龄、性别等信息却是全局的高层语义信息。并且，在视角、光线等信息变化时，采样到的图像变化可能很大，但这些属性信息却不会改变。
如何从一张输入图像中提取出不同尺度的特征完成对应属性的判别及提升属性判别的鲁棒性，是RAP的难点所在。

度量标准：
ROC曲线：计算每个属性类别的分类召回率和FPR；根据recall和FPR可以绘制ROC曲线，并可以进一步计算AUC。

1. 召回率是指正确检测到的正例占所有正例的比例；
2. FPR是被误认为是正例的负例数量占所有负例的比例。

PAR的处理流程-----------------PAR既属于多任务学习，也属于多标签学习。

4.1 多任务学习

不同的子任务间可能存在关联关系，多任务联合学习可以共享数据集，改善模型效果。

多任务学习一般共享特征网络，但对每一个任务应用一个单独的网络。

PAR属于多任务学习，并且不同的子任务之间存在一定的关联，比如年龄和衣物类型之间往往存在关联。

多任务学习有两种，分为Hard和Left两种。Hard是常用的多任务学习方式。

Hard如上图左图所示，使用一个共享的卷积网络提取特征，对各个子任务使用单独的小网络进行分类判别。

Soft如上图右图所示，针对每个任务进行单独训练，但通过正则化手段限制各任务的参数比较接近。

推荐论文：An overview of multi-task learning in deep neural networks

4.2 多标签学习

推荐论文: A review on multi-label learning algorithms