论文笔记 《Heterogeneous Face Attribute Estimation:A Deep Multi-Task Learning Approach》

发表时间: 2018年

发表期刊: TPAMI

研究内容: 人脸属性分类

主要思路

1、 人脸属性之间是有相互关系的,比如一个人如果是男性,那很可能会有胡子,但不大可能涂口红,属性胡子 和 属性男性之前是强联系,{胡子、男性} 和 涂口红 是弱联系。根据属性值的类别,可以将属性分为名词性(nominal)属性和序数性(ordinal)属性,比如年龄的值是大于0小于100的整数,是有序的,就属于序数性属性;种族的值有{白人、黑人、黄种人等},就属于名词性属性。根据属性的覆盖区域,可以将属性分为局部属性和全局属性,比如年龄、性别、种族等需要根据整个人脸图像来判断的,是全局属性;鼻子形状、眼睛大小等属于局部属性。对属性的划分是先验知识,我们可以利用属性的关系和属性的异构性来辅助属性预测。

2、 多任务学习架构,区别于过去的对每种属性设计一种网络单独学习的架构,同时预测所有属性值。

网络框架

CNN特征提前网络基于AlexNet,在每个卷积层后加入了BN。网络前半部分所有属性共享特征,属性共享特征可以学到属性之间的相互关系。在两层全连接层之后,根据先验知识将属性分类,每个属性类别采用单独的两层全连接网络进行fine-tune。对名词性属性类别采用交叉熵损失,对序数性属性类别采用最小平方差损失。论文没有具体列出属性类别的划分。
实验数据集: MORPH II, CelebA , LFWA, ChaLearn LAP,FotW

实验结果:CelebA, LFWA

总结

这篇论文主要考虑了属性的类别,根据属性值划分为名词性和序数性,根据属性的判断区域划分为局部属性和全局属性,用CNN提取所有属性的浅层特征,再对不同类别的属性分别用两层全连接层网络,并设计不同的损失函数。不足之处是图像需要预处理,检测人脸和关键点来矫正人脸区域,额外引入关键点检测错误带来的误差。

0%