十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI
疫情之下，口罩识别有多难，问问你的iPhone用户朋友就知道了。
在“刷脸时代”，戴口罩的人脸识别已然成为一个大问题。
传统的人脸识别算法，已经无法hold住这种大面积遮挡情况，主要难点有三：
一张口罩“封印”半张脸，直接丢失大量脸部特征；
短期内无法收集大量戴口罩人脸图像，算法训练难度大；
人脸识别系统包含检测、跟踪、识别等多个模块，对它们都会造成影响。
好消息是，AI工程师们逢山开路遇水搭桥，现在——戴口罩人脸识别——这座桥，已经搭好了，而且已经开放了。
来自百度视觉算法团队，技术方面自然也有保障。
不过，知其然最好还要知其所以然。如此模型，百度视觉算法团队是如何完成的呢？
接下来我们一一解密。
戴口罩人脸识别之难：如何快准狠
“三座大山”怎么翻？
首先是第一个难题，丢失了大量脸部特征，如何进行检测。
在人脸识别的过程中，会提取面部大量的特征点，而这些特征点的分布并不都是均匀的。
而且每个区域特征点所包含的信息量(用于身份认证)不同，例如，眼部区域就相比其他位置包含了更多的身份信息。
百度视觉就敏锐地观察到了这一点，找到了翻过这座大山的突破口。
他们通过采用基于空间位置的注意力机制特征学习，让算法更加关注对眼部区域的特征学习。
△基于空间位置的注意力机制特征学习
这样一来，就能将因为佩戴口罩、帽子等遮挡，所带来的信息丢失降到最低，也就能充分获取戴口罩人脸的身份信息。
△特征可视化结果
算法有了，但数据不够用来训练，又该怎么办呢？
一个传统的办法，就是在现有的人脸图像上“贴”上口罩。
但这样处理后的实验效果并不明显，原因是在真实场景中，人脸姿态会有变化，并且不同场景采集的图像存在一定的差异性。
针对这个问题，百度视觉采用了基于人脸关键点的3D图像融合技术。
这样处理后，不仅解决了人脸姿态变化带来的口罩形变和遮挡问题，还生成了更加自然、真实的照片。
△合成口罩图片
通过收集市面上各种颜色、大小和样式的口罩图片，与之前积累的未佩戴口罩人脸图片进行融合，快速合成了各种场景、海量真实的戴口罩训练照片。
最后一座大山，人脸识别系统各模块(环节)之间的问题。
百度视觉对此做了一系列的优化。例如：
检测算法方面，采用了百度最新的PyramidBox-lite检测算法，并加入超过10万张口罩人脸数据训练，在准确率不变的情况下，召回率提升了30%，佩戴口罩的人脸检测准确率超99%以上。
口罩分类算法方面，基于人脸关键点网络，抽取了具有丰富面部语义信息的人脸特征表示，并基于该特征进行口罩遮挡判断，还通过PaddleSlim进行模型压缩，大小缩小了3倍多。
问题解决了，性能效果又如何？
优化了识别效果之后，在佩戴口罩情况下人脸识别，准确率出奇的高，速度出奇的快！
但单从理论上解决难题是不够的，应用到急需的场景中才是关键。
其实，这项已经投入到了现实场景，在百度园区，员工上班戴着口罩就可以刷脸“入场”，解决了检测“戴口罩的是谁”的问题。
更早的，针对密集人群戴口罩的检测问题，百度与北京地铁展开了合作，连夜集结专项项目组，3天完成初版部署，7天快速迭代上线，解决了检测密集人群“是否戴口罩”的问题。
嗯，看来是可以愉快的戴口罩上班了！
实力的背后是技术
或许很多人会感到惊讶，百度怎么能够在如此短时间内，解决了难题，还做到了落地？
其实，这是必然的结果。
百度视觉早已在领域中深耕多年，技术实力不容小觑。
为了达到业内SOTA水平，百度视觉技术部在人脸检测问题上产出了一系列的研究，从多个角度进行优化。
上图便是人脸检测器设计的几个优化思路，包括特征融合、上下文信息、锚点设计、额外监督、数据扩充、网络结构等。黄色标注部分为百度视觉发表的论文。
所提出的BOX系列模型，在业界处于领先地位，例如：
DenseBox，第一个anchor free且可以进行端到端训练的物体检测器。
PyramidBox，引入基于anchor的上下文辅助方法，用于半监督学习人脸上下文特征。
DAFBox，基于注意力指引的语义增强特征融合框架来学习各个尺度的具有丰富语义特征金字塔。
BFBox，第一篇基于神经网络架构搜索的人脸检测方法，支持同时搜索适合人脸检测的特征提取器和特征金字塔。
还有像HAMBox，可在线挖掘高质量锚点的高性能框架，2019年在ICCV WIDER Face and Pedestrian Challenge上 ，以mAP值57.13%的成绩夺得人脸检测的冠军，远超上一年冠军55.82%的成绩。
△红色框是PyramidBox的检测效果，可以看出PyramidBox对于姿态、模糊、遮挡、尺度等条件具有极强的鲁棒性。
研究成果方面，近期即将召开的计算机视觉顶级学术会议CVPR 2020在近日公布了收录的论文，录取率创下新低，相比去年下降3%，仅有22%，百度仍有高达22篇论文入选，其中人脸方向重要的论文包括：
HAMBox：Delving into Online High-quality Anchors Mining for Detecting Outer Faces
BFBox：Searching Face-appropriate Backbone and Feature Pyramid Network for Face Detector
FaceScape：a Large-scale High Quality 3D Face Dataset and Detailed Riggable 3D Face Prediction
Hierarchical Pyramid Diverse Attention Network for Face Recognition
此次疫情之下，人脸识别背后的核心技术问题，包括复杂场景多人脸检测、多人脸跟踪定位、实时模型预测、戴口罩人脸识别。
而这些问题，从上述的研究成果来看，百度视觉都或多或少的有所涉及。
如此来看，也就不难理解，为什么百度能够如此高效解决高难度问题。
百度在此次疫情中的贡献，也真正的彰显了那句“能力越大，责任越大”，也体现了出了在计算机视觉领域中领军者的地位。
技术的背后，还有一个百度飞桨
无论是研究还是应用，背后都需要一个强有力的平台支撑。
而此次百度在人脸识别上的成功，离不开技术硬实力，更离不开技术背后的百度飞桨 (PaddlePaddle)。
飞桨是百度自研，目前国内唯一开源开放且功能完备的产业级深度学习平台，是各类型AI模型应用开发的基础。
例如在解决戴口罩人脸识别问题时，就采用了飞桨的大规模分类库PLSC，快速对数百万ID的训练数据进行训练，还采用了飞桨模型压缩库PaddleSlim进行模型搜索与压缩，产出高性能的人脸识别模型，使用飞桨PaddleLite快速进行云端和移动端部署。
在此前北京地铁AI口罩检测方案中，百度飞桨利用自身储备的业界领先工具集，快速完成了多维度视频内容解析、视频语义理解、分类标签，及口罩识别等全套模型及部署，充分展现出飞桨源于产业实践、并致力于与产业深入融合的特点。
而百度也将基于口罩相关的能力做到了落地：
与科升(广东)智能科技有限公司达成合作，对城中村门禁系统进行改造，租户利用前期入住时登记好的人脸开锁进门，同时该人脸数据库与公安大数据后台对接(直接对接公安数据库)，对可凝人员及网上追逃人员进行预警。
十牛科技将百度大脑发布的口罩检测与戴口罩人脸识别技术，更新至校园安全管理系统中，为学生复学做好万全准备。
与无锡华捷电子信息技术有限公司达成合作，针对疫情全新开发的产品，无需摘下口罩，就可以精准识别人脸，实现乘车人秒速自动测温，有效降低了公共交通出行中接触感染风险。
与广州智体科技有限公司达成合作，应用驾驶行为分析API极速研发并上线了出租车、公交车司乘人员“戴口罩智能识别预警模块”，实时上传异常数据到疫情监管、交通管理部门、公交/出租车公司后台，实现了多站点远程异地有效管控。
还包括深圳市赛蓝科技有限公司、深圳智荟物联技术有限公司、南京海帆数据科技有限公司等100余家试用企业，涉及零售线下门店无感刷脸购物、智慧社区刷脸门禁、企业员工刷脸考勤等场景。
此外，目前百度戴口罩识别相关基础能力已经通过飞桨Paddle Hub对外开源，避免让更多程序员重复造轮子，可以直接站在百度的肩膀上。
One More Thing
通过百度计算机视觉强悍的能力，已然解决了人群“是否戴口罩”、“戴口罩的人是谁”的问题。
安全、愉快地戴口罩上班已经不是难题。
那么更进一步的，戴口罩手机解锁、刷脸支付，还需要多久能解决呢？
传送门
飞桨(PaddlePaddle)官网:
https://www.paddlepaddle.org.cn/
PaddleSlim平台：
https://github.com/PaddlePaddle/PaddleSlim
Paddle PLSC大规模分类库：
https://github.com/PaddlePaddle/PLSC
PaddleLite平台：
https://github.com/PaddlePaddle/Paddle-Lite
PaddleHub平台：
https://github.com/PaddlePaddle/PaddleHub
