基于面部视觉的疲劳检测-哈欠

基于视觉的疲劳检测可以认为大致分为三个部分，点头，哈欠，眨眼。分别为姿态、嘴部特征、眼部特征。

本文主要介绍哈欠的测定方法。

首先研究了陈博士《基于可拓学与面部视觉。。。》一文，他提出一种基于特征点曲线拟合的嘴唇内轮廓检测方法，先对嘴巴进行粗定位，然后对嘴巴区域进行Harris角点检测，利用检测到的角点坐标拟合出嘴巴内轮廓曲线。【角点检测+二次曲线拟合】

内轮廓具有的优点为：准确的张口度；头部较大旋转仍能计算张口度。

什么是角点 ：角点没有明确的数学定义,但人们普遍认为角点是 二维 图像亮度变化剧烈的点或图像边缘曲线上 曲率 极大值的点。

1、P46： 嘴巴粗定位、角点检测Harris角点检测算法 【OpenCV中定义了cornerHarris函数】、嘴巴内轮廓模型

2、最小二乘法获取内轮廓线（分段二次函数拟合）

http://blog.csdn.net/xiaowei_cqu/article/details/7805206

P61起：

3、基于嘴巴内轮廓的张口度计算公式为：

4、指标：

双阈值法哈欠检测：

对内轮廓进行检测：结合张口度与张口时间

5、判定方法

判定方法一：

首次判决：根据张口度大小进行初判；然后根据时间进行首次判决，对于在条件区域的哈欠进行二次判决。

二次判决：对应于嘴小的人，此时降低张开度判决门限后，记为

（降低后的门限），若此时持续125帧以上，则可判定为哈欠。

列表如下：

论文所给参考阈值：

在区分无哈欠、哈欠、深哈欠时：（利用连续时间的长短区分）一般为3s超过3s为长哈欠（深哈欠），2.5-3s为哈欠。

M-时序构建：p88

在长度为Lt秒时间窗内利用阈值对张口度值进行二值化。

时间窗内连续1的最大个数占总二进制位数的比例记为M，当M达到阈值才确定为哈欠，设l表示ti时刻时间窗内连续1的个数，表示最长的连续1的个数，则

将时间窗内连续1的最大个数占总二进制位数的比例M沿时间轴构成时间序列 ，记为记为

对M-时序进行分段并标记0、1、2分别代表无哈欠、浅哈欠、深哈欠。

判定方法二：

Yawn为符合打哈欠的帧数，N为1min内总帧数，设阈值为10%，当Freq>10%时认为打了一个深度哈欠或者至少连续两个浅哈欠，此时给出疲劳提醒。

Step1：提取帧图像检测人脸，嘴部粗定位进行肤色分割；

Step2:嘴部精确定位，获取嘴部特征值K1，若k1大于阈值T1，则Step3,；否则K2=K1/2，count=0回到step1，检测下一帧。

Step3:提取嘴部内轮廓特征值K2，若K2大于阈值T2，则Step4，否则count=0,返回Step1，检测下一帧。

Step4:统计哈欠特征count=count+1,当count超过阈值且下一帧的哈欠特征消失，保存count到Yawn，Yawn(i)=count，count=0（count清0）回到Step1，否则的话也直接转回Step1。

Step5:分析完1min内所有图像，计算哈欠特征总数：

，按照

计算Freq值，超过阈值则发出疲劳提醒。（推荐阈值为0.1）

特征提取方法

嘴部特征提取的方法1：

Landmark可进行粗定位。48点、54点  上下可能定位不准确。

50 52 58 56

Gabor变换，将原嘴部图像与Gabor核函数卷积。

对嘴部图像做垂直方向的Gabor变换，然后再经过二值化得到内部轮廓。

第三列为垂直Gabor变换后结果，第四列为第三列二值化后的结果。

实现方法可参考如下博文：

http://blog.csdn.net/u013709270/article/details/49642397

SUSAN算子

嘴部特征提取方法二：

方差投影法进行粗定位

角点检测Harris角点检测算法 【OpenCV中定义了cornerHarris函数】

再进行分段二次函数拟合。

实现程序：opencv人脸及角点检测

Harris角点效果并不很理想，总是会把牙齿部分作为角点，显然与内嘴唇相差较远。

6、决策：

1、论文中表述：只要产生打哈欠的动作即归类为“疲劳”。

连续70帧进入哈欠预备期，通过统计连续张嘴的时间长度（帧数）来确定哈欠的深浅，累计打哈欠时间在10s以上则判为重度疲劳。

单位时间（1min）内：（25帧/s）

1min打一次浅哈欠为轻度疲劳，1次一般哈欠为中度疲劳，或2次为中度疲劳。

2次深哈欠为重度疲劳。

3-4s浅哈欠；4-5s为深哈欠。

测得为哈欠的连续帧数即保存起来，记录1min内哈欠的次数。

//另一种计算哈欠特征总数：，按照计算Freq值，超过阈值则发出疲劳提醒。（推荐阈值为0.1）

2、 进行加权评分：基于眼睛和打哈欠的特征进行融合决策（打分，以模糊度表示）

不请自来！

关于楼主所问，试验机老二认为检测钢板d簧疲劳寿命的方法如下：

对于钢板d簧使用寿命试验性评估方法主要有三种，即标准试验、程序疲劳试验以及随机疲劳试验。具体介绍如下：

1、标准试验

标准试验又称为等幅疲劳试验，它采用液压脉动装置模拟汽车实际行驶工况，给钢板d簧以某一恒定的频率加载，试验得到钢板d簧的台架寿命，通常以次为单位记录结果。

2、程序疲劳试验

根据总结观察，程序疲劳试验能更真实地模拟钢板d簧受力应力，它根据各种工况下的极大应力载荷建立室内程序疲劳试验的加载谱，通常采用7中路面综合的8级程序加载谱法。

3、随机疲劳试验机

该方法简称PVP法，是一种特种条件下的随机试验。它是以可变的载荷进行加载试验，比起第二种方法更先进，其载荷的平均值和幅值可以任意变动，运行次数也具有任意性，所以更接近钢板d簧的实际受力情况。

更多试验机知识，请百度搜索“试验机老二”大量免费视频供您学习！

---