神经网络模型的人脸检索方法范文

摘要:

针对大规模人脸检索问题,提出了一种带相关反馈的基于深度神经网络模型的人脸检索方法.首先利用卷积神经网络对人脸进行特征提取,再利用传统的检索方法进行人脸检索,在检索环节之后加入相关反馈环节.根据用户反馈的结果,将样本分成正例和负例,作为反馈环节的训练样本,完成反馈环节的训练.实验表明,该方法能够显著提高人脸检索的准确率.

关键词:

人脸检索;卷积神经网络;哈希检索;相关反馈

近些年来,随着计算机技术的不断发展,计算机视觉(CV)问题越来越受到人们的关注,例如物体识别[1,2]、图像检索[3,4]、图像匹配[5,6]等,而在所有的计算机视觉问题中,人脸识别与检索方法由于其与人身份的密切联系而受到研究者更加广泛的关注.目前的人脸检索方法主要包括三个部分,人脸图像预处理,人脸特征提取,特征检索.而这其中人脸特征提取部分得到的人脸特征的优劣直接决定整个人脸检索系统的性能.也正是由于这一点,多年来研究者们纷纷提出了多种多样的特征提取方法.总结这些特征提取方法,主要有两个研究方向,一是人工设计特征,(如LBP[7],SIFT[8]等),另一个是学习特征.人工设计特征是根据图像自然具有的颜色,纹理,形状等特征,通过一定的数学方法,设计出来的一种特征抽取方法,sift特征便是这其中较为出色的特征抽取方法.人工特征虽然具有理论基础清晰的优点,但是,人工特征的设计需要大量的理论知识和深厚的数学功底,这制约了该方法的进一步发展.2006年,以GeoffreyHinton在Science发表文献[9],提出深度置信网络(DeepBeliefNetworks,DBN)可使用非监督的逐层贪心算法来训练为标志,研究人员开始将深度学习用于图像特征提取,并在图像分类问题上取得了惊人的效果.

2014年,XiaogangWang,XiaoouTang等人发表文章[10],利用多层卷积神经网络提取人脸图像的特征,并在LFW上验证其分类效果,实验表明,文中提出的深度网络进一步提高了人脸分类的准确率.2014年,XiaogangWang,XiaoouTang等人发表文章[10],利用多层卷积神经网络提取人脸图像的特征,并在LFW上验证其分类效果,实验表明,文中提出的深度网络进一步提高了人脸分类的准确率.基于上述人脸特征提取方法,本文提出了一种带相关反馈的深度学习人脸检索方法,该方法设计了一种多层的CNN网络,利用打好类别标签的人脸图片数据集训练该网络,此深度网络能提取人脸图像的特征,基于此特征,再利用传统的检索方法,得出待检索人脸的检索结果.我们发现,该结果虽然比以往的基于人工特征的检索方法具有更好的检索准确率,但是仍然具有较大的提升空间,因此,在检索之后,加入反馈环节,利用相关反馈算法获取带标签数据,对该反馈网络进行训练,最终得到一个带反馈的深度学习网络.

1相关概念

1.1卷积神经网络卷积神经网络ConvolutionalNeuralNetworks(CNN)是一种特殊的深层神经网络模型,它的特殊性体现在两个方面,一方面它的神经元间的连接是非全连接的,另一方面,同一层中某些神经元之间的连接权重是共享的.卷积网络是为识别二维形状而特殊设计的一个多层感知器,这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性.

1.2相关反馈算法人脸检索领域的反馈即是使用一种判别标准(如人工判断)对检索结果的正确性进行判别,再将判别结果回送到检索系统,优化检索系统参数,从而起到对检索结果不断修正的作用.相关反馈算法,一方面,通过对最佳的查询方向估计来调整查询的方向,使其不断向用户反馈的正例靠近,而远离反例;另一方面,利用反馈信息修改距离公式中各分量的权值,突出重要的分量[11,12].

2带相关反馈的基于深度神经网络模型的人脸检索方法

根据文献[10]的思想,我们设计了一个8层的卷积神经网络,利用这一网络结构来实现人脸图像特征的提取.网络结构包含1个输入层,2个卷积层,2个下采样层,2个全连接层和1个输出层.网络中的卷积层和下采样层是经过专门设计来提取局部特征和全局特征的.最终抽取出一个256维的特征向量用来表示输入的人脸图片.网络结构如图1所示。基于上述网络结构得到的人脸特征进行人脸检索,我们利用文献[13]中的有监督哈希检索方法.该文献的思想是将高维数据投影成二进制码,通过对带有相关性标签的训练样本对的学习,相似样本对之间的汉明距离最小,而不相似的样本对之间的汉明距离最大.将上述方法应用到人脸检索中,使用哈希方法获得待检索人脸样本的哈希编码,再计算这个哈希编码与检索库中其他检索样本哈希编码之间的汉明距离,通过距离的大小来判断检索库中哪些样本是与待检索样本相似的结果.每次检索过程,一张待检图片都会得出若干个最为相似的检索结果,而这些结果中有部分是正确的检索结果,而另外一部分则是错误的.根据文献[11]提到的相关反馈算法,检索用户能够很容易判断这些检索结果的正误,且能够通过简单的操作将这些结果进行分类(正确或者错误).多次检索会积累一定量的此类数据,以往的检索方法没有考虑这些数据,而经验告诉我们,这些数据应该会对往后的检索结果有帮助.

因此,我们设计了一个反馈环节,利用这些数据去训练反馈环节,不断提升整个系统的检索性能.相关反馈能够运用于人脸检索,正是由于人脸检索库中存在的人物一般是具有身份标签的,每一个人脸都会属于其中的一个身份的人,也就是属于所有类别中的一类,检索库中存在多少个人也就分成多少个类.在检索过程中,如果用户判断检索出的结果和用户提交的检索图像属于同一个人,则认为是相关图像,否则认为是无关图像.所有的检索结果,用户认为相关则标记为正例,无关则标记为负例.本文采用的方法是首先将待检目标人脸,利用前文提到的方法得出一个初步的检索结果,再根据相关反馈算法,由用户对检索结果进行标定,用户认为结果正确,就标为正例,反之则是负例.再将这些打过标签的检索结果组成的训练集输入到反馈环节中,训练产生一个反馈分类器,之后的检索结果就可以通过这个反馈分类器,判断出更多正确的结果.反馈环节是一个分类器,提升反馈环节的性能可以使用提升分类器性能的方法.在一定范围内提升参与分类器训练的样本、调节分类器参数、使用更加优秀的度量函数都可以达到效果.由于本文的论述重点在于反馈分类器能够使整个系统获得随着检索结果的不断积累而使性能不断优化的功能.对反馈分类器的分类效果不满意时,每次检索得出的结果都可以在用户反馈后加入训练集对反馈分类器进行重新训练.系统性能能够随着检索次数的增加而不断提升.因此,本文主要通过改变样本数量来仿真系统性能的提升.详细的算法流程如表1.

3实验

为了测试本文提出的带相关反馈的基于深度神经网络的人脸检索方法的性能,需要首先对深度卷积神经网络进行训练,本次实验使用的训练集由LFW上的部分图片和在互联网上下载的图片组成,图片一共有大约50000张.部分图片如图2所示.测试数据集我们使用的是YouTubeFacesDatabase[14]随机选取的20000张图片,这些图片包含1595个不同的人.分别打上1到1595的标签,数字相同的表示同一个人.实验结果如下.

3.1输出不同的检索结果数,检索准确率对比人脸检索是通过输入一张待检索图片,输出用户需要的一系列被检索图片.这里输出检索结果图片数量range变化,对检索准确率具有直接的影响.一般来说,检索准确率随着输出结果数增加而下.然而,加入反馈环节之后,能够在一定范围内提升整个系统的检索性能.本次实验为了验证本文所提方法的上述性能,设计使range从10变化到20过程中,记录加入反馈环节前后检索准确率的变化.实验结果如图3中未加反馈曲线所示,其中横坐标表示range的变化,纵坐标表示检索准确率.实验表明,随着输出图片数量(range)的不断增加,未加反馈时检索的准确率不断下降.加入反馈,使用前述相同的数据进行实验,其结果如图4中加反馈曲线所示,前后两次结果的对比表明,本文提出的带反馈环节的检索方法在输出多个结果时,依然能够显著提升检索的准确率.

3.2不同数量的样本集下反馈环节对检索性能的影响为了验证样本个数增加对相关反馈算法的性能影响,我们选择测试样本数据集中样本总数分别为5000,10000,20000,30000个.再选择样本集中的80%对哈希检索函数进行训练,20%进行检索测试输出range=20的结果,收集这些输出检索结果利用相关反馈算法打上标签,对反馈环节进行训练.记录加相关反馈前后检索准确率.检索准确率如图4所示.从图4的曲线中,可以发现,未加反馈环节时,随着参与哈希函数训练的样本数据不断增加,检索的准确率也是呈不断上升态势的,因此,提高样本总数,能够提升哈希检索的准确率.但是,无限制地提升样本个数必然会以牺牲检索时间为代价的.另外,获取大量的加标签的人脸图片也是非常困难的工作.而本文方法训练反馈环节的标签样本是多次检索积累下来的,获取比较容易.而加入反馈环节后,实验数据表明,相同的数据量检索准确率有显著提升,且随着数据量的增加,检索准确率也是不断提升的,直到样本数到达20000附近时,反馈环节参数已达最优,准确率达到峰值.

4结语

本文在利用卷积神经网络提取人脸特征并进行人脸检索的基础上,加入了反馈环节,利用相关反馈的算法以用户对检索结果是否感兴趣为标准为样本打上标签,将打过标签的样本输入反馈环节,训练产生反馈分类器.经过实验验证,上述方法能很好的提升系统的检索性能,从而证明我们提出的方法是有效的.

作者：沈旭东 范守科 夏海军 苏金波 单位：中国科学技术大学 自动化系 中国人民解放军 63791 部队 合肥市公安局 网安支队