人脸对齐系列总结(二) --- 人脸关键点检测综述

  |   1.5k 字   |   6 min 发表于 | 更新于 | 分类于 | 阅读次数：

人脸关键点检测简介

人脸关键点检测也叫人脸对齐，英文名facial landmark, face alignment. 定位人脸的眉毛、眼睛、鼻子、嘴巴、人脸轮廓等。不同的数据集有不同的标记点个数，最少的标记5个关键点(两只眼睛瞳孔中心，鼻尖，左右嘴角)，常见的有68个关键点，也有上百个关键点的。人脸关键点大多是在人脸检测的基础上进行的，首先要用face detection方法检测出人脸区域，在人脸区域上进行关键点定位。

任务难点

  • 人脸姿态(pose)变化
  • 部分遮挡(occlusion)
  • 表情(expression)变化

  • 光照(illumination)影响

    68个关键点标记图

    数据集

    下图数据集整理参考计算机学报人脸特征点提取方法综述

    另外还有CelebA数据集，共有20多万张图片，但是只标记了5个关键点。

论文整理

论文方法分类

分类方法仅限于个人理解，欢迎各位大佬指正

  • 点分布模型(Point Distribution Model)
    点分布模型是用多个关键点来描述形状，描述形状的平均几何形状，属于数学统计模型。经典的AAM(Active Appearance Model)和ASM(Active Shape Model)，都属于点分布模型。比如手的形状，可以用多个点连接起来表示，人的手都有5根手指(这是共同点)，但不同的人手指形状略有不同(这是不同点)，假设收集了大量的人的手的图片，并标记了每张图片的关键点(假设如下图所示)，那么对所有样本取平均，就可以得到平均形状，这样每个人的手形就可以表示为平均手形+差异形状。人脸关键点也类似。

    点分布模型的具体步骤是(参考ASM（Active Shape Model）算法介绍)：

    • 构建训练集的形状向量，用Procruses方法进行归一化(消除人脸由于不同角度、远近距离、姿态变化等造成的干扰)
    • 计算平均形状，将所有形状对齐到平均形状直到收敛
    • 将对齐后的形状向量进行PCA处理
    • 为每个特征点构建局部特征

  • 级联形状回归(Cascade Shape Regression)
    级联形状回归是用多个弱学习器对形状进行回归，每个弱学习器在前一个学习器预测的形状基础上进行回归，一步一步收敛得到最终形状，是由粗到细的过程。根据特征提取的不同，可以分为以下两种

    • 基于非深度特征提取方法的级联形状回归
    • 基于深度学习提取特征的级联形状回归
  • 多任务学习(Multi-taks)
    人脸关键点检测一般是基于人脸检测的基础上，也就是说常见的关键点检测方法默认是已经检测出了人脸区域的。多任务学习是指模型不仅能检测人脸关键点，还能检测人脸，甚至还能检测性别、头部姿势(头往左偏、往右偏)等。多任务模型的训练一般分为几个步骤，先训练出人脸检测模型，在人脸检测模型的基础上进行头部姿势检测，根据头部姿势进行矫正(比如统一头朝左等)，然后进行人脸关键点检测。实验证明，多任务学习效果较好，因为多个子任务是相互关联的，多个任务同时学习能提高模型的学习能力。

点分布模型(Point Distribution Model)相关论文

  • [1995] Active Shape Models-Their Training and Application
  • [2001] Active Appearance Models
  • [2004-IJCV] Active Appearance Models Revisited
  • [2006-BMVC] Feature Detection and Tracking with Constrained Local Models
  • [2011-IJCV] Deformable Model Fitting by Regularized Landmark Mean-Shift

级联形状回归(Cascade Shape Regression)相关论文

  • 非深度特征
    • [2013 ICCV] PCPR- Robust face landmark estimation under occlusion
    • [2014(有源码)-IJCV] Face Alignment by Explicit Shape Regression
    • [2014(有源码)-CVPR] Face Alignment at 3000 FPS via Regressing Local Binary Features
  • 深度学习
    • [2013-CVPR] Deep Convolutional Network Cascade for Facial Point Detection
    • [2017-CVPR]A Deep Regression Architecture with Two-Stage Re-initialization for High Performance Facial Landmark Detection
    • [code(有源码)-2018-CVPR] Look at Boundary- A Boundary-Aware Face Alignment Algorithm
    • [code(有源码)-2017_ICCV]How far are we from solving the 2D & 3D Face Alignment problem_ (and a dataset of 230,000 3D facial landmarks)
    • [code(有源码)-2017_CVPR] Deep Alignment Network A convolutional neural network for robust face

多任务学习(Multi-taks)相关论文

  • [2014_ECCV] Facial landmark detection by deep multi-task learning
  • [2016(有源码)] Joint Face Detection and Alignment using multi-task cascaded convolutional networks

另一种分类方式，参考论文《Look at Boundary-Aware Face Alignment Algorithm》，根据坐标点的预测方式分为：

  • 坐标回归模型(Coordinate regression models)
    直接预测关键点的坐标
  • 热力图回归模型(Heatmap regression models)
    对输入图片的每个像素计算可能是某个关键点的概率，选取概率最高的像素坐标作为关键点坐标。如果有k个关键点，则最后输出k个Heatmap(heatmap是一个二维矩阵，大小和输入图片保持一致)，取每个Heatmap概率最高的像素坐标。

热力图回归模型(Heatmap regression models)相关论文

  • [code(有源码)-2018-CVPR] Look at Boundary- A Boundary-Aware Face Alignment Algorithm
  • [code(有源码)-2017_ICCV] How far are we from solving the 2D & 3D Face Alignment problem_ (and a dataset of 230,000 3D facial landmarks)
  • [2017-CVPR] Stacked Hourglass Network for Robust Facial Landmark Localisation

经典论文阅读笔记

参考文献

0%