人体姿态评估（三）HRNet系列

人体姿态识别的过程中我们首先需要进行关键点检测，我们需要生成高分辨率的heatmap，但是传统的特征提取网络如VGG网络会将我们的feature map分辨率降 的很低，损失了空间结构。我们知道VGG的结构是穿行结构，使用HRNet则是将VGG的穿行结构改变成了并行结构，将不同分辨率的feature map进行并联，下面我们看下HRNet系列吧。

应用领域： 人体姿态检测

方法：只选择高分辨率特征图

应用领域：人脸关键点检测

方法：利用所有分辨率的特征图,对低分辨率特征图上采样后与高分辨率特征图拼接，经过1*1卷积，softmax层生成分割预测图

应用领域：图像分类

方法：HRNet-Wx-C:4张不同分辨率特征图经过bottleneck层，通道数翻倍后，从高分辨率图依次经过strided convolution与低分辨率图进行元素加 *** 作，在经过1*1卷积使通道翻倍(1024->2048)，全局平均池化后送入分类器。

应用领域：目标检测

方法：HRNetV2p:将HRNetV2拼接后的特征图经过不同尺度的平均池化 *** 作产生不同级别的特征表示，经过1*1的卷积后形成特征金字塔

参考：

[1] 关于HRNet的简介

[2] [论文阅读]HRNetV1,HRNetV2,HRNetV2p

随着计算机视觉的发展及其在日常生活中的广泛应用，基于各种算法的行为检测和运动识别项目在实践中得到越来越多的应用，并在相关领域得到了广泛的研究。在行为监控方面，不仅仅是图形、温湿度、声音等信息。用于监控蜜蜂的行为，但更多的应用集中在对人类行为的监控。人体姿态识别作为行为监控的重要参考，已经广泛应用于视频采集、计算机图形学等领域。其中，传统的人体姿态识别方法有RMPE模型和掩膜R-CNN模型，这两种方法都是自顶向下的检测方法。Openpose作为姿态识别的经典项目，是自底向上的检测方法，主要应用于行为监测、姿态修正和动作分类，在智能家居、自动驾驶、智能监控等领域具有重要的研究意义和应用价值。

在多人目标的手势识别方面，历史上常用的方法有自上而下搜索候选关键点，用空间连接优化算法进行人的匹配，通过建立部分亲和场由关键点检测人体骨架连接等。

针对当前行为监测中准确率低、效率低的问题，该项目结合openpose手势识别技术，通过不同肢体之间的协调关系构建分类算法。通过比较不同的分类算法，选择最优模型构建多目标分类方法，最终实现手势显示、目标检测和多目标分类的实时显示。在该模型中，调用轻量级openpose模型来识别人体姿态。主要方法是通过openpose获取人体骨骼的关键点，然后通过欧氏距离匹配两块骨骼，检测出每个人。对于常见检测中缺少的关键点，可以用前一帧的骨骼信息来填充。

身体姿态检测当然可以应用于健身行业可以带来理想效果人体姿态估计（Human Pose Estimation）是计算机视觉领域中的一个重要研究方向，被广泛应用于人体活动分析、人机交互以及视频监视等方面。人体姿态估计是指通过计算机算法在图像或视频中定位人体关键点（如肩、肘、腕、髋膝、膝、踝等）。本文主要介绍近几年深度学习兴起后的人体姿态估计方法发展历程。二、人体姿态估计有什么用？（1）利用人体姿态进行摔倒检测或用于增强安保和监控；（2）用于健身、体育和舞蹈等教学；（3）训练机器人，让机器人“学会”移动自己的关节；（4）电影特效制作或交互游戏中追踪人体的运动。通过追踪人体姿态的变化，实现虚拟人物与现实人物动作的融合与同步。三、人体姿态估计算法评估指标（1）OKS（Object Keypoint Similarity）OKS是COCO姿态估计挑战赛提出的评估指标，COCO Leaderboard 显示Challenge18最高mAP最高为0.764。基于对象关键点相似度的mAP：其中，di表示预测的关键点与ground truth之间的欧式距离；vi是ground truth的可见性标志；s是目标尺度，等于该人在ground truth中的面积的平方根；ki控制衰减的每个关键点常量。（2）PCK（Probability of Correct Keypoint）MPII数据集的评估指标采用的是PCKh@0.5，目前MPII数据集PCKh最高为92.5。预测的关节点与其对应的真实关节点之间的归一化距离小于设定阈值，则认为关节点被正确预测，PCK即通过这种方法正确预测的关节点比例。PCK@0.2表示以躯干直径作为参考，如果归一化后的距离大于阈值0.2，则认为预测正确。PCKh@0.5表示以头部长度作为参考，如果归一化后的距离大于阈值0.5，则认为预测正确。（3）PCP（Percentage of Correct Parts）如果两个关节点的位置和真实肢体关键的距离达到至多一半时的真实肢体长度，则认为关节点被正确预测，PCP即通过这种方法正确预测的关节点比例。四、人体姿态估计算法发展历程2013年，Toshev等人将DeepPose引入人体姿态估计领域，人体姿态估计的研究开始从传统方法转向深度学习，下面将按时间顺序总结6篇个人认为具有标志性的工作。（1）DeepPose（2014，Google）Alexander Toshev和Christian Szegedy提出的DeepPose最早将CNN（卷积神经网络）应用于人体关节点检测。DeepPose将人体姿态估计转换为关节点回归问题，并提出了将CNN应用于人体关节点回归的方法：使用整幅图像输入到7层CNN来做关节点回归，更进一步，使用级联的CNN检测器来增加关节点定位的精确度。

---