DRML - AU Detection 阅读笔记 - Vurkty's BLOG


DRML - AU Detection 阅读笔记

DRML - AU Detection 论文阅读笔记

00.png

论文《Deep Region amd Multi-label Learning for Facial Action Unit Detction》 - CVPR.2016.369.

原文链接

1. 摘要

  • Region learning(RL) 区域学习

    • AU在人脸部的稀疏区域活动,RL旨在在这些特定区域学习以获得更好的效果。
  • Multi-label learning(ML) 多标签学习

    • 强有力的AU相关性统计学证据证明,ML是模拟AU检测的最自然(最接近人思维)的方法。
    • 一些AU经常一同出现,例如AU6和AU12经常在微笑中共同出现,基于这些相关性,ML尝试联合学习多个AU作为一个分类问题。
  • 提出Deep Region and Mutil-label Learning(DRML)

    • 一个统一的深度网络同时解决以上两个问题。
    • 与之前的分别解决RL和ML的研究不同,DRML通过构造解决了这两个问题,允许两个看似无关的问题直接的进行交互。
    • 完整的网络是端到端可训练的。
    • 完整的网络是会自动的对区域内 有利于提升鲁棒性的变化 进行学习。
  • 一个重要的方面:提出了一个新颖的区域层(Region-layer)

    • 使用前馈网络,导出重要的(感兴趣的)面部区域,迫使学习权重捕捉到面部信息。
    • 替代 局部连接的层(locally connected layers) 和 传统卷积层之间的 连接设计。
  • 在BP4D和DISFA上的实验结果:

    • 与其他方法相比,DRML在数据集内和跨数据集的情况下具有最高的平均F1得分和AUC。

2. 引言

  • 介绍RL和ML的目的

  • Patch learning

    • 如图1(a)所示,图片被分割成均匀的patch,然后对每个patch对应相应的参数,更高的重要性意味着对特定AU此类patch具有更高的相关性。

    01.png

    • 由于所选的patch们的空间依赖性,他们比单个特征值更有效,并且对噪声有更强的鲁棒性。
    • 但是patch是手动定义的,并且现有的大多数工作忽略了AU之间的关系。
  • 利用AU相关性的ML

    • 利用FACS启发式或Ground truth labels的统计数据得出AU的相关性,然后将AU相关性插入到学习中,鼓励(加强)具有高相关性的AU的发生概率。
    • 但是,由于开发者的主观性,这些AU的相关性可能出现偏差,或在不同的数据集之间有不同。
  • 作者提出的DRML

    • DRML并没有像如图1(a)那样,将面部均分为网格,而是将与某个AU相关的区域权重从高向低分布,如图1(b)所示,产生类似与热力图的结果。
    • 由于网络本身的多标签特性,RL和ML可以在网络中自然地相互作用,而不是在后续解决或是交替解决。
    • 引入新的Region layer(区域层),作为局部连接层。(前边已经提过)
    • 端到端可训练,与其他模型相比,学习AU相关性能更好的收敛。

3. 相关工作

  • Region Learning(RL)

  • Multi-label Learning(ML)

  • CNNs

4.DRML

​ 普通的卷积层的常见前提是——整个图像共享卷积核,但是对于面部这种结构化的研究对象来讲,这将不能捕获局部的、微小的变化。为了弥补这个限制,并利用AU的相关性,我们构建了DRML网络。

  • DRML结构

03.png

  • 网络结构比较直观。
  • fc9:与AlexNet的1000中相比,AU的种类很少,于是将fc9的输出由4096调整为2048。
  • 参数:共56m参数,少于AlexNet的60m和DeepFace的120m。
  • Loss:本文使用Sigmoid交叉熵函数 (Sigmoid cross-entropy loss)。C为AU的数量,N为样例数。其中[x]为指标函数,当x为True是值为1,其他情况下为0。

03.png

  • Region layer

  • 区域层结构示意如图

04.png

    • DeepFace引入局部连接层用于人脸验证,达到了不错的性能,但参数过多,>120m。
    • AU数据集的数量不足够,例如BP4D数据集中只有14w帧,在DeepFace这样大的网络上很容易过拟合。
    • 结构如图3所示:Patch --> 局部卷积 --> 叠加(跳层)。局部卷积独立更新某个部位的学习权重。跳层有助于避免梯度消失问题,简化学习。
    • Region layer 能为AU检测捕捉到什么?

      • 如图4,第二行是DRML的结果。

    05.png

    • 与相关工作的比较

    06.png

    5. 实验

    • 数据集

      • BP4D:12个AU,328个视频,41人*8视频,14w帧有效图片。每个视频每个AU提取100正样例,200负样例。按照FERA 2015划分方法进行训练,便于与现有最佳情况对比。
      • DISFA:8个AU,26个人在观看视频时的表情情况的视频,13w帧有效图片。每个视频800正样例,1600负样例。
    • 评价标准

      • F1-score
      • AUC
    • 结论

      07.png

    本文链接:

    https://www.vurkty.com/notes/16.html
    1 + 6 =
    快来做第一个评论的人吧~