儿童阻塞性睡眠呼吸暂停计算机人脸辅助诊断综述

　　摘要利用人脸图片辅助诊断儿童阻塞性睡眠呼吸暂停(OSA)可以减轻医生的负担，提高诊断的准确率。首先，简要阐述了目前临床诊断中的方法和局限性;然后，在研究了目前已有方法的基础上，结合了计算机人脸辅助诊断其他疾病的方法，将计算机人脸辅助诊断儿童OSA分为三种方法：基于传统的计算机人脸诊断方法、基于迁移学习的诊断方法、基于3D人脸数据的诊断方法，综述了三种方法中的关键步骤，并对关键步骤中的方法进行了对比研究，为将来儿童OSA人脸辅助诊断的研究提供了不同的切入点;最后，分析了未来研究中的机遇和挑战。

　　关键词人脸辅助诊断;儿童阻塞性睡眠呼吸暂停;人脸关键点检测;人脸特征提取;迁移学习

　　引言

　　1976年儿童阻塞性睡眠呼吸暂停(ObstructiveSleepApnea，OSA)被Guilleminault等[1]第一次提出，之后阻塞性睡眠呼吸暂停综合征被定义为上气道间歇性完全阻塞或部分阻塞，这种疾病会影响睡眠质量，常伴有睡眠碎片和间歇性低氧血症[2]，由OSA引发的慢性间歇性夜间低氧血症和睡眠不足可能会导致神经行为问题、心血管疾病和精神疾病综合症等重大风险。

　　儿童医学论文： 儿童预防接种中应用安全预防接种护理干预的价值

　　根据调查显示儿童OSA患病率为1.2%~5.7%[3]，我国香港地区的儿童OSA患病率为4.8%[4]。可见OSA严重影响儿童的身心健康，并对未来的长期健康产生深远影响。所以，对于儿童OSA患者来说，初期发现和诊断至关重要。儿童OSA的诊断一般是通过多导睡眠图(Polysomnography，PSG)以及针对儿科的诊断标准来实现的[5]。

　　根据文献[6]可知，在面部特征方面，推荐重点关注腺样体面容;文献[7-8]中分析了腺样体面容，面部特征变化主要集中在眼睛、鼻子、嘴唇。这些面部特征也可用于儿童OSA的预测中。临床数据中一般收集人口统计学特征如身高、体重、劲围、腹围、臀围和PSG检测中的睡眠参数。在诊断时，把PSG数据中的阻塞性呼吸暂停低通气指数(ObstructiveApnea/HypopneaIndex，OAHI)>1次/h作为儿童OSA的诊断界值指标，有利于早期发现和干预治疗。

　　此外呼吸暂停低通气指数(ApneaHypopneaIndex，AHI)、阻塞性呼吸暂停指数(ObstructiveApneaIndex，OAI)和最低血氧饱和度对儿童OSA诊断也有重要参考作用。对于儿童OSA严重程度诊断指标，参考标准如下：1)轻度为1次/h

　　1相关领域研究现状

　　传统的人脸辅助诊断的研究最先是提取图像上的浅层特征，如纹理特征、几何特征、颜色特征进行辅助诊断，如Balaei等[9]通过提取到的脸部宽度、眼睛宽度、颈心角和下颌长度等几何特征，使用逻辑回归分类器来预测OSA;如Song等[10]通过提取内眦赘皮、黑素细胞痣的纹理特征，前额、鼻梁和眼睛之间的几何特征预测特纳综合征;Schneider等[11]提取纹理和几何特征预测指端肥大症。

　　随着神经网络的发展，可利用神经网络提取图像中的深度特征进行辅助诊断，如Kumov等[12]使用神经网络提取图像的深度特征，并融合了几何特征，来预测8种遗传病症，平均分类精度达到了约93%;Balaei等[9]把正脸和侧脸图像作为输入向量，输入到前馈神经网络中进行分类，然后又选择脸部特定的四个特征输入到神经网络中进行分类，结果显示对于使用脸部特定位置的四个特征进行预测，与直接使用正脸和侧脸图像进行预测相比准确率有所提高。

　　传统的诊断方法由于可供训练的数据集较少，神经网络不能充分地发挥其性能，迁徙学习的提出，解决了数据集短缺的问题，充分发挥了神经网络的分类性能。迁徙学习按照迁移方案划分，可以分为归纳迁移学习、直推式迁移学习、无监督迁移学习;如果按照迁移学习方法划分，可以分为实例学习、基于特征表示的迁移、基于参数的迁移、基于相关性的迁移。目前使用迁移学习来诊断儿童OSA的相关研究非常有限，迁移学习可以有效地解决儿童OSA数据短缺问题。

　　与二维图像相比，3D人脸数据包含更多的信息，可以提高诊断的准确性，也是疾病辅助诊断研究的重要领域。最先的研究是提取3D人脸数据上的局部特征进行疾病的预测，如：Kiaee等[13]提取3D人脸模型上的等高线、曲率和水平曲线，将提取到的特征用拓扑数据分析方法进行分类;Wu[14]利用儿童的3D人脸数据，计算线性和角度测量值，采用三维形态计量学分析来评估高危人群和低风险人群面部特征的差异。随着深度学习的发展，设计更加庞大复杂的神经网络，可以提取3D人脸数据上的深度表型特征来进行辅助诊断如Kiaee等[13]的研究，3D人脸数据理论上可以捕捉到儿童脸上微小的面容变化，更好地预测儿童OSA，但由于3D人脸数据数量少，目前的研究不是很理想。

　　2儿童OSA人脸辅助诊断步骤

　　基于传统的计算机人脸诊断方法、基于迁移学习的诊断方法、基于3D人脸数据的诊断方法中的主要步骤如下：

　　1)基于传统方法的儿童OSA人脸辅助诊断。步骤一般包括获取脸部图像并进行人脸检测、图像预处理、人脸关键点检测、面容特征分析，然后提取人脸特征，最后进行分类预测。

　　2)基于迁徙学习的儿童OSA辅助诊断。首先使用成熟的神经网络在大规模人脸数据集上进行训练，然后把经过预训练的神经网络模型作为人脸特征提取器，再根据目标任务调整分类器，并利用目标域的数据集进行微调来预测儿童OSA。

　　3传统儿童

　　OSA人脸诊断传统的儿童OSA人脸诊断主要步骤如下：

　　1)图像获取。一般都是在医疗机构，在统一的环境下，由专业的人员使用统一的设备进行拍摄，采集正脸和侧脸的面部图像。对于图片的标签可以根据文献[6]，利用OAHI指标进行标注。2)人脸检测。把图像中的人脸区域裁剪出来。人脸检测是辅助诊断中重要的基础任务之一，人脸检测算法可以分为基于特征的人脸检测和基于图像的人脸检测(基于AdaBoost算法和基于神经网络的算法)。人脸检测常用的算法有VJ(PaulViola和MichaelJones所提出的算法)人脸检测[15].

　　3)图像预处理。消除光照等环境因素对实验的影响，提高图像的清晰度，一般对人脸图像进行翻转和图像增强。传统的图像增强方法有归一化、灰度变换、直方图均衡化等;深度学习中，在不改变网络模型的情况下，通过图像增强的方法提高了分类的准确性，在深度学习中常见的数据增强方法有几何增强、色彩增强、mixup、随机擦除等。

　　4)人脸关键点检测。检测人脸关键点，在儿童OSA诊断中也是一项重要的基础任务。对于儿童OSA的面容特征，重点关注眼睛、嘴唇、鼻梁等关键区域。人脸关键点检测大致可以分为三类：基于统计模型的方法，基于级联形状回归的方法，基于深度学习的方法。基于统计模型的方法包括点分布模型(ActiveShapeModel，ASM)[20]和形状统计模型(ActiveAppearanceModel，AAM)[21]，ASM[20]把人脸关键点坐标组合成形状向量，随后提出的AAM[21]算法加入了形状约束，适用范围都有所提高;基于级联回归的方法把关键点问题转化为一个回归问题。

　　在训练阶段，回归模型学习预测关键点的位置函数，预测时，直接用这个函数输出关键点的位置坐标。常用的人脸关键点检测的个数有两种：一种是检测人脸上的5个关键点;另一种是检测人脸上的68个关键点。68个人脸上的关键点标记出眼睛、嘴巴、鼻子、眉毛、大致的脸部轮廓[10]。根据的儿童OSA的面容特征，可以检测眼睛、鼻子、嘴唇上部、腮部等关键点，在儿童OSA的诊断中，检测出人脸上的68个关键点可以更好地捕捉到儿童变化的面容特征。

　　如Dlib库中的级联回归梯度下降树(GradientBoostingDecisionTree，GBDT)[22]检测人脸的68个关键点，首先在特征池中挑选两个点，然后计算每张图片与这两个点之间的像素差，再随机产生一个数值，如果像素差大于这个数值则向右分类，反之向左一直分裂至叶子节点，且二叉树深度已经确定，不断更新回归树，最终输出模型，级联回归的算法还有基于回归树的人脸对齐(EnsembleofRegressionTrees，ERT)算法等。

　　基于深度学习的方法在关键点检测上表现优异。如当前在检测人脸68个关键点中表现优越的实用的人脸特征点标记(PracticalFacialLandmarkDetector，PFLD)模型[23]，其在损失函数中，通过给少量样本包括侧脸、正脸、头朝上、头朝下、表情、遮挡等赋予更多的属性权重，角度偏差大的样本赋予更多的角度权重，同时将3D姿势的估算与2D距离的测量结合起来，对于姿势较大和遮挡的人脸图像关键点识别的精度也很高。人脸关键点检测的精确与否对于下一步的特征提取至关重要，人脸关键点检测作为基础工作中重要的一环，影响着儿童OSA预测的准确度。

　　作者：赵津1，宋文爱1，邰隽2*，杨吉江3，王青3，李晓丹4，雷毅3，邱悦4