凌六一 汪晴晴 周孟然
摘 要：为了降低照明变化、相机内部等噪声干扰对远程光电容积描记法检测心率的误差，提出基于自适应噪声完备集合经验模态分解（CEEMDAN）与快速独立成分分析（FastICA）相结合的去噪方法，实现非接触式心率准确检测。首先对视频图像中人脸68个关键点进行检测，获得感兴趣区域（ROI）并得到源信号;然后通过CEEMDAN对源信号进行分解并选取合适频段内的固有模式函数（IMF）进行重构，对重构信号进行FastICA盲源分离后将RGB各通道信号进行快速傅里叶变换，最终利用频谱峰值对应频率计算得到心率。对10名不同性别和年龄的人员进行了实验测量，并将测量结果与脉搏血氧检测参考仪器进行了对比分析，测量均方根误差和平均绝对误差分别为0.72bpm 和0.60bpm。实验结果表明，所提方法能够有效去除心率检测源信号中的噪声，提高心率检测的准确性。
关键词：远程光电容积描记法;心率检测;CEEMDAN;FastICA
中图分类号：TP391 文献标志码：A
文章编号：1672-1098（2021）02-0001-08
收稿日期：2020-12-15
基金项目：安徽省科技重大专项计划项目（201903a07020013）
作者简介：凌六一（1980-），男，安徽枞阳人，教授，博士，研究方向：檢测技术与智能信息处理。
Non-contact Measurement of Heart Rate Based on CEEMDAN-FastICA
LING Liuyi1，2，WANG Qingqing1，ZHOU Mengran1
（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan Anhui 232001， China;2.School of Artificial Intelligence， Anhui University of Science and Technology， Huainan Anhui232001， China）
Abstract：The accuracy of heart rate measurement based on remote photoplethysmography （rPPG） usually decreases due to the noise caused by lighting fluctuation and camera defects. In order to measure heart rate accurately， a de-noising method based on the complete ensemble empirical mode decomposition with adaptive noise （CEEMDAN） and fast independent component analysis （FastICA） is proposed， which is used firstly to obtain the region of interest （ROI） as well as source signal by establishing 68 key points in the face image from video stream， secondly to decompose the source signal with the CEEMDAN and then reconstruct it by making use of intrinsic mode function （IMF） within the appropriate frequency band， thirdly， to implement the based-FastICA blind source separation on the reconstructed signal to get independent RGB signal， and finally， to calculate the heart rate with the frequency， which is corresponding to magnitude peak in the frequency spectrum gotten by Fourier transform on the independent RGB signal. The heart rates of ten people of different gender and age are measured by the proposed method. The results are compared with those measured by standard pulse oximetry instrument， and the root mean square error （RMSE） and mean absolute error （MAE） are 0.72 bpm and 0.60 bpm respectively. The experimental results demonstrate the proposed method capable of effectively reducing the noise in the source signal and improving the accuracy of heart rate detection.
Key words：remote photoplethysmography; heart rate measurement; CEEMDAN; FastICA
人的心率（heart rate，HR），即心脏跳动的频率，是临床诊断和生命体征监测中最重要的参数之一。人类心率一般为45～120次/min，传统的接触式心率检测要求患者佩戴胸带或电极，远程光电容积描记法（remote photolethysmogracphic，rPPG）使用摄像机就可以监测心率[1]。然而，rPPG技术的最大问题是噪声干扰，测量过程中照明变化、相机内在噪声以及被测者的运动，包括头部运动、面部表情、眨眼和说话等，这些都会给心率检测带来一定误差。
一直以来，从视频中提取心率经常成为顶级计算机视觉会议[2-3]的主题，学者们致力于通过各种方法提高心率检测的准确性[4-6]。例如，文献[7]548将Kanade-Lucas-Tomasi算法跟踪识别到的人脸视频图像转换到Cg颜色通道来提取PPG信号，然后用Morlet复小波作为母波来提取随时间变化的心率参数，实验结果表明该方法能够有效减少运动伪影等噪声干扰的影响;文献[8]利用经验模态分解（Ensemble Empirical Mode Decomposition，EEMD）提取心率信号，该方法降低了环境光变化的影响;文献[9]1 422先对面部感兴趣区域的绿色通道去趋势化，然后使用联合盲源分离和EEMD去除视频中光照变化噪声，实验结果表明该方法有效减小了照明变化对心率测量的影响，然而他们所提方法的前提是假设面部ROI和背景有相同的光照变化;为避免光照影响，文献[10]利用红外摄像头结合短时傅里叶变换提取心率，实验表明该方法是可行的，但是如何去除运动伪影仍需进一步研究;文献[11]使用无人机提取rPPG信号，采用自适应噪声完备集合经验模态分解（complete ensemble empirical mode decomposition with adaptive noise，CEEMDAN）以及典型相关分析结合的方法有效减小了环境光和运动伪迹对视频心率提取的影响。
针对照明变化、相机内部噪声等噪声影响，本文提出CEEMDAN与快速独立成分分析（fast independent component analysis ，FastICA）相结合的方法对心率源信号进行去噪来提取人体心率。通过与参考仪器检测结果对比，并进行Bland-Altman一致性分析以验证本文所提方法的有效性和准确性。
1 检测原理与流程
rPPG原理是基于每次心跳带来的血液流动会在人体皮肤组织的微血管中形成周期性变化，当光线照射到皮肤时，皮肤对光线的吸收會有所不同，从而引起皮肤颜色的变化，这个变化可以由摄像机捕捉，因此通过检测被测者面部连续的视觉图像来提取人体的生理参数。
基于rPPG心率检测流程由五个步骤组成，如图1所示。第一步，利用摄像头采集被测者正面视频，对每一帧图像进行基于Python的Dlib库人脸检测，并且利用68个关键特征点定位到所需要的感兴趣区域（Region of Interest，ROI）;第二步，计算每一帧图像ROI中红色（Red，R）、绿色（Green，G）、蓝色（Blue，B）三个通道像素平均值，得到三通道的源信号;第三步，通过预处理对源信号进行处理，其中预处理包括对数据进行三次多项式插值、去趋势化、标准化和带通滤波;第四步，通过CEEMDAN对信号进行模态分解，选择合适频段内的固有模式函数（IntrinsicModeFunction，IMF）重构信号，进行带通滤波。然后对信号进行FastICA盲源分离，再进行带通滤波，获取去噪后的信号;第五步，对去噪后的信号进行快速傅里叶变换，选择频谱图中最高功率对应的频率带入公式计算出心率。
2 方法及实现
2.1 源信号获取
对于非接触式心率检测而言，大部分源信号是通过人脸检测获得ROI并进行处理后得到。ROI是指含有心率源信号的像素区域，检测ROI是为了找到最能反映出心率周期性变化的皮肤区域，因此，选择合适的ROI对 rPPG信号质量有重要影响。考虑到人眼眨动、女生额头刘海遮挡以及人脸运动伪迹等影响，本文选择脸颊和鼻子连通区域作为ROI。利用基于Python的Dlib库[12]实现人脸检测，然后对人脸68个关键点进行定位，获取眼睛、鼻子、嘴巴等关键部位的位置信息，根据这些位置信息可以拟合出脸部的多边形区域，如图2所示，黄色多边形内部为本文确定的某测试者的ROI。
得到ROI后，通过将ROI进行红色（R）、绿色（G）、蓝色（B）三通道基色分离，记录各通道像素点的变化，即可得到包含心率的源信号。对ROI图片的RGB三通道按照公式（1）分别进行像素平均操作，假设ROI区域包含M×N个像素点，则第n帧的平均像素值Pn为
Pn=∑MM=1∑NN=1Xn（x，y）M×N（1）
其中，Xn（x，y）是像素点（x，y）在第n帧的颜色强度值。对帧频为30fps，时长为26s即780帧的视频图片进行像素平均操作，得到RGB三基色通道一维像素均值源信号，如图3所示。对每个基色通道的源信号进一步进行处理，可以从中提取出心率信息。
2.2 基于CEEMDAN-FastICA算法的信号去噪
1）自适应噪声完备集合经验模态分解 经验模态分解（EmpiricalModeDecomposition，EMD）[13]是一种针对非平稳信号处理的时频域分析方法，通过EMD分解可得到一系列不同频段的IMF，但是EMD存在模态混叠和端点效应会影响分解效果，EEMD[14]则通过添加白噪声来解决EMD带来的模态混叠的问题，然而EEMD由于多次添加不同幅值的白噪声导致信号中残留噪声会使信号出现误差。CEEMDAN[15]则通过添加自适应的白噪声弥补了EEMD带来的误差问题，以及减轻了EMD的模态混叠现象。
添加满足N（0，1）分布的高斯白噪声ωi[n]（i=1，…，I，I为添加噪声的次数）到信号y[n]中，EMDj（·）是对第j个模态进行EMD分解，则CEEMDAN具体步骤如下
Step1原始信号为y[n]+β0ωi[n]，其中β0是噪声标准偏差，在本文中β0=0.2，对原始信号进行EMD分解得到第一个模态
IMF1[n]=1I∑Ii=1IMFi1[n]（2）
得到第一个剩余分量
r1[n]=y[n]-IMF1[n]（3）
Step2第二个模态为
IMF2[n]=1I∑Ii=1（EMD1（r1[n]+β1EMD1（ωi[n]）））（4）
则第k个剩余分量为
rk[n]=rk-1[n]-IMFk[n]（5）
Step3第（k+1）个IMF为
IMFk+1[n]=1I∑Ii=1（EMD1（rk[n]+βkEMDk（ωi[n]）））（6）
Step4一直重复step3～4直到剩余分量为单调函数，即不满足EMD条件时，此时剩余分量为
R[n]=x[n]-∑Kk=1IMFk （7）
则原始信号表示为
y[n]=∑Kk=1IMFk+R[n]（8）
在进行CEEMDAN分解之前，为了便于提取心率信号，要对源信号进行预处理，预处理包括三次多项式插值、去趋势化、标准化和带通滤波。预处理之后，通过CEEMDAN将信号分解为具有瞬时振幅和频率数据的IMF，每个通道信号分解得到11个IMF，图4给出了某测试者视频图像G通道信号分解结果。分解获得的IMF的频率由高到低顺序排列，对IMF做快速傅里叶变换，得到信号频谱，根据频谱得到每个IMF的频谱峰值对应频率如表1所示。
人类的心率信号一般在0.7～3Hz（对应心率42～180bpm）范围内，为了最大程度保留含有心率成分的源信号，选取IMF模态4、5、6重构信号，重构信号Y[n]为
Y[n]=IMF4[n]+IMF5[n]+IMF6[n]（9）
选择IMF进行重构得到的三个通道信号如图5所示。
2）快速独立成分分析 FastICA是一种收敛速度快、分离效果好的盲源分离算法，它能很好地从观测信号中估计出相互统计独立的、被未知因素混合的原始信号[16]。FastICA算法的基本思想如下
设S=[S1，S2，…，Sn]，其中S1，S2，…，Sn为源信号，X=[X1，X2，…，Xn]，其中X1，X2，…，Xn为观测信号，假设存在模型的混合矩阵A使得
X=AS（10）
该算法目标是在源信号S和混合矩陣A未知情况下，以负熵最大作为搜寻方向，通过合适的非线性函数对其进行优化迭代，找到解混矩阵W，即
W≈A-1（11）
式（12）是计算解混矩阵W的迭代公式[17]
W=E[xg（WTx）]-E[g′（WTx）]WW=W‖W‖（12）
式中：x为观测矩阵，WT为W的转置，E[g]为平均操作，g（y）为非线性函数，g′（y）为g（y）的导函数。本文中，非线性函数g（y）=-e-y22。
根据解混矩阵W来恢复源信号Y，Y=[y1，y2，…，yn]，即
Y=WX=WAS≈S（13）
利用FastICA算法进行盲源分离得到的三通道信号如图6所示。
2.3 提取心率信号
根据心率信号的周期性，从信号的频谱图中可以计算出心率。对去噪后的心率信号进行快速傅里叶变换，找到频谱图中最高功率对应频率fmax，计算出心率HRm。计算心率公式如下
HRm=60×fmax（14）
图7给出了某测试者心率信号频谱图，计算得到其心率为73.44 bpm。
3 结果与分析
3.1 实验设计
实验视频在室内白天自然光环境下和夜晚日光灯环境下拍摄，拍摄设备为HD Webcam PLUM，型号为PLUM-001，采样频率30fps，视频为MP4格式。实验共选取了10位测试者，他们都是在校大学生和老师，其中包括8名男性和2名女性，年龄23～40岁，测试者面部正对摄像头，在拍摄过程中，测试者脸部应避免较大运动，同时手上使用指夹式脉搏血氧检测仪检测心率作为参考值，视频拍摄时长为30s左右。
3.2 实验结果与分析
采用CEEMDAN- FastICA的方法去噪，通过快速傅里叶变换提取心率，并与EEMD-FastICA去噪方法所得的心率结果进行比较，两种方法的测试结果和绝对误差如表2所示。
从表2可以看到，基于CEEMDAN- FastICA方法的检测结果都很接近血氧计值，其误差都在2bpm以内，其中最小误差是0.09bpm，最大误差是1.32bpm;EEMD-FastICA方法所测结果部分与血氧计值也比较接近，但是其中有三位参与者心率的绝对误差分别达到了57.5bpm、48.4bpm和69.5bpm。与此方法相比，本文算法具有较强的鲁棒性。
另外，在本次测试结果中，测试者5和10的心率绝对误差高于EEMD-FastICA算法的绝对误差。尽管如此，但是将两位测试者数据进行时频分析，并与血氧计的历史记录数据进行比较，发现随着时间推移本文提出的算法测得心率更趋于稳定，符合实际测得的值。如图8所示，测试者5采用EEMD-FastICA算法获得的心率值波动较大，而采用CEEMDAN- FastICA算法获得的心率较为稳定，如图9所示。
Bland-Altman一致性分析[18]是评价两种方法结果是否具有一致性的常用方法，利用Bland-Altman 法分别对血氧检测仪与rPPG测量结果进行一致性评估，结果如图10所示。图中蓝色实线代表两者测量结果偏差均值，中间橙色虚线代表零偏差均值。两种测量方法的一致性越高，蓝色实线越靠近橙色虚线。可以看到，血氧检测仪与 rPPG 测量结果的偏差均值为0.34bpm，相应的95%一致性区间为[-0.97 1.65] bpm，表明两种测量方法具有较高的一致性。
另外，采用均方根誤差（Root Mean Square Error，RMSE）、平均绝对误差（Mean Absolute·Error，MAE）、平均误差（Mean Error ME）、相关系数（Correlation coefficient ，CC）和标准差（Standard Deviation，SD）这五种评测指标与各文献方法进行对比，对比结果如表3所示。
从表3中可以看到，本文提出的基于CEEMDAN- FastICA方法的均方根误差为0.72bpm，平均绝对误差为0.60bpm，平均误差为0.34bpm，相关系数为0.996，标准差为0.635bpm，与其他方法对比可以看出本文方法的准确性较高。同时，本文方法的测试结果误差远低于中华人民共和国医药行业规定的误差标准（≤5bpm误差），表明了静止状态下本文方法的有效性。
4 结论
本文提出基于Python的Dlib库中人脸关键点检测获取ROI，结合基于CEEMDAN- FastICA的去噪方法非接触式检测心率，实验结果的均方根误差和平均绝对误差分别为0.72 bpm 和0.60 bpm，解决了照明变化、相机内部等噪声的问题，同时该结果与接触式设备有较高的一致性，验证了本文方法的准确性和鲁棒性。基于视频的心率检测方法简单易实现，在日常生活中有一定实用性。接下来还可以针对人脸运动状态下的心率检测、利用深度学习进行心率的提取等进一步研究来提高心率检测技术的实用性。
参考文献：
[1] 许彦坤，石萍，喻洪流. 基于成像式光电容积描记技术的人体生理参数检测研究进展[J]. 北京生物医学工程， 2017， 36（6）：648-654.
[2]C S PILZ， J KRAJEWSKI， V BLAZEK. On the diffusion process for heart rate estimation from face videos under realistic conditions[C]//German Conference on Pattern Recognition. basel switzerland ：
Springer， Cham， 2017：361-373.
[3]C S PILZ， S ZAUNSEDER， J KRAJEWSKI， et al. Local group invariance for heart rate estimation from face videos in the wild[C]//The IEEE Conference on Computer Vision and Pattern Recognition （CVPR） Workshops. Salt Lake City， USA ：IEEE Computer Society Conference， 2018：
1 254-1 262，
[4] 王慧泉，何森，田野，等. 基于rPPG的脉搏波提取及心率测量方法研究[J].计算机应用研究， 2020， 37（S1）：172-174.
[5] 陈辉，郑秀娟，倪宗军，等. 基于面部视频分析的生命体征检测[J]. 北京航空航天大学学报， 2020， 46（9）：1 770-1 777.
[6] 周双，杨学志，金兢，等. 采用自适应信号恢复算法的非接触式心率检测[J]. 中国图象图形学报， 2019， 24（10）：1 670-1 682.
[7] 李晓媛，武鹏，刘允，等. 基于人脸视频的心率参数提取[J].光学精密工程， 2020， 28（3）：548-557.
[8] CHEN D Y，WANG J J，LIN K Y，et al. Image sensor-based heart rate evaluation from face reflectance using Hilbert-Huang transform[J]. IEEE Sens J. 2015，15（1）：618-627.
[9] CHENG J，CHEN X，XU L，et al. Illumination variation-resistant video-based heart rate measurement using joint blind source separation and ensemble empirical mode decomposition[J]. IEEE Journal of Biomedical and Health Informatics， 2016（10）：1 422-1 433.
[10] MARTINEZ N，BERTRAN M，SAPIRO G，et al.Non-contact photoplethysmogram and instantaneous heart rate estimation from infrared face video[C]//Proceedings - International Conference on Image Processing. Taipei International Convention Center ：
IEEE Computer Society， 2019：2 020-2 024.
[11] AL-NAJI A，PERERA A G，CHAHL J.Remote monitoring of cardiorespiratory signals from a hovering unmanned aerial vehicle[J]. Biomedical engineering online， 2017， 16（1）：
101-120.
[12] BOYKO N， BASYSTIUK O， SHAKHOVSKA N . Performance Evaluation and Comparison of Software for Face Recognition， Based on Dlib and Opencv Library[C]//Proceedings of the 2018 IEEE 2nd International Conference on Data Stream Mining and Processing. Sentosa，Singapore：
Institute of Electrical and Electronics Engineers Inc，2018：478-482.
[13] NORDEN E HUANG，ZHENG SHEN，STEVEN R LONG.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proceedings Mathematical Physical & Engineering Sciences，1998， 454（1 971）：903-995.
[14] WU Z，HUANG N E.Ensemble empirical mode decomposition：a noise-assisted data analysis method[J]. Advances in Adaptive Data Analysis，2009，1（1）：1-41.
[15] LAHCEN E B，MOHAMMED K，ABDELLAH A .ECG signal filtering based on CEEMDAN with hybrid interval thresholding and higher order statistics to select relevant modes[J]. Multimedia Tools and Applications， 2019，78（6）：13 067-13 089.
[16] N HASSAN，D A RAMLI.A Comparative Study of Blind Source Separation for Bioacoustics Sounds based on FastICA， PCA and NMF[J].Procedia Computer science， 2018， 126：363-372.
[17] CAI K，YUE H，LI B，et al.Combining Chrominance Features and Fast ICA for Noncontact Imaging Photoplethysmography[J].IEEE Access，2020， 8：50 171-50 179.
[18] BLAND J M，ALTMAN D G.Statistical methods for assessing agreement between two methods of clinical measurement[J]. Lancet， 1986， 1：
307-310.
（責任编辑：丁 寒）
