AI 检测出以下两张图里的脸,哪张更难?
答案是——卡通脸!
人脸轮廓清晰,五官立体,皮肤纹理很丰富。这是人脸识别的硬核基础。
而卡通脸,就是动漫形象的脸,他们是动漫作者自由创作的,天马行空。要啥,啥没有,全是线条、色块和表情。
有的是歪瓜咧嘴的怪兽,有的是脱胎动物、玩具,还有纯表情包,千奇百怪。
对比一下,差别很直观。
如果用人脸识别技术去检测卡通脸,对不起,机器设备便高举“识别失败”的警示牌。
一句话,卡通脸让厉害的人脸检测技术“集体失灵”。
这回,腾讯优图实验室出手了,在不久前的IJCAI 2020 iCartoonFace挑战赛上,拿下了卡通脸检测的冠军。
腾讯优图研究员说,利器便是ACFD——
ACFD是一种基于深度学习的目标检测技术,属于一阶段带有锚点框的检测方法。输入一张卡通图片,ACFD便可以输出图片中卡通脸的位置(x,y,w,h)以及对应的置信度,无需任何预训练模型,推理速度仅为50ms。
听起来有些懵。
翻译成大白话,ACFD是一个排除图片背景因素干扰,判断是否有卡通脸,并把它框出来的高效检测神器。
要知道ACFD到底有多牛,尝试一下下面的脑洞题。
图里的卡通人物有多少共同特征?(划重点:卡通人物,一图多脸,共同特征)
共同特征是做检测的依据。要是换作人脸,很简单,靠五官纹理等,搞定一切。
Emmmm,在动漫世界,充满想象力的五官线条,没纹理,还会和相似的动画物体撞车。没有五官,太南了。
可是,ACFD竟然把脸框出来啦。
腾讯优图研究员提供了个解题思路,仿照人,一定有脸;有脸,一定有轮廓。他们把这种想法融入到ACFD里,创新性采取全新主干网络VoVNetV3,通过非对称的卷积,排除干扰,提取共同特征。
回到最初提问,答案是脸的轮廓。
铁甲、奥特曼、变形金刚的面部是脸,还是头盔?
机器脸常遇到“撞色”情况,脸的颜色和头盔等背景色很雷同,不确定它们有没有脸。这似乎是一个脑洞题。
对ACFD来说,是一个算法题,检测的算力强,就越接近真相。
它用了一双“透视眼”——基于间隔的损失函数MC loss。它会在机器人的头盔和疑似卡通脸的特征之间,增加一个硬性间隔,好比对透视眼滴眼药水,提高辨识能力,让背景和卡通的区分更明显。
经过ACFD的检测,铁甲、奥特曼、变形金刚都是被头盔遮挡的有脸机器人。
动漫形象的脸可以通过身体其他部位来判断吗?
提供一条线索,对于人脸,这是可以有的,丰富的身体信息起到辅助作用。
这个侧面如何断定是一张卡通脸?ACFD想把这种不可能变为可能。
知易,行难。
因为这个发问是AI的前沿课题,如何利用图片内关联信息,深度理解图像内容。
ACFD找到了一个杀手锏——Abi-FPN,训练时,它在标注脸部位置时,有意识强化了发型、耳朵、侧颜等与脸的关联度。这是一种高效的非对称的双向特征金字塔结构。
所以,你能否想到,经过ACFD的检测,上图的身体细节被检测框框成这样:
类推,很多看不清楚脸的图也能框出卡通脸:
总之,腾讯优图研究员告诉我们,下方图片基本囊括了所有高难度检测场景,ACFD没有搞不定的。
你说,工程师没事检测卡通脸有什么用?
这还不是最后一公里。
每一次检测都在推动一次有效识别。当卡通脸被检测时,腾讯卡通脸识别算法正在根据检测结果,悄然运行,为每一个卡通脸抓取DNA。
想一想小猪佩奇家族,清一色的长鼻子和圆脸蛋,撞脸严重。
不要紧,ACFD和腾讯卡通脸识别算法一起,找到了佩奇的新显著特征——嘴巴和衣服。可以想象,以后,利用佩奇的嘴巴和衣服做识别判断,谁还想山寨,可没那么容易啦。
到此,技术贴告一段落。
还要替工程师们发布一则应援贴:
这项杠杠的技术能应用在哪些行业、哪些领域,解决哪些问题?
快来底部留言给我们开脑洞吧~