MoCo 阅读笔记 | Momentum Contrast for Unsupervised Visual Representation Learning - Vurkty's BLOG


MoCo 阅读笔记 | Momentum Contrast for Unsupervised Visual Representation Learning

背景 Contrast Learning

典型的自监督表征学习(Representation Learning),设计一些直观的任务来辅助表征学习,例如Rotate、InPainting、Colorization等。Contrast Learning出现之后,这种方法被证明效果有不错的提升,优于ImageNet的预训练任务。这也是自监督学习的一大目标——通过自监督的任务,对网络进行预训练,从而迁移到下游的任务,希望这种预训练的效果优于监督学习的。

Contrast Learning 的目的是:

  • 1)一个样本在特征空间和同类样本接近
  • 2)一个样本在特征空间和异类样本远离

那么,对于Contrast Learning 来说,Loss就非常直观,只需满足:

  • 1)描述这样一个损失,样本X经过Encoder之后得到的特征向量(集)k_x和其余同类样本X'经Encoder后的特征向量(集)q_0的近似程度。越近似,loss越小。这一部分,使用Softmax Loss。对应目的1)。注:原始的样本X和X'可以是一个也可以是多个,也可以是同一个,x和x'所经过的Encoder也相同也可以不同。其中MoCo使用的Momentum Encoder便是文章的主要贡献之一。
  • 2)描述这样一个损失,样本X经过Encoder之后的到的特征向量(集)k_x和其余不用类别的样本Q经过Encoder后的向量(集)q的差异程度。差异越大,loss越小。这一部分用Negative Log Liklihood,对应目的2)。注:原始样本X同上,Q的样本容量也可以是灵活的,几种不同的采用Contrast Learning的论文Instance Discrimination等,分别采用了不同的思路。

image-20210117160217756

所以Contrast Learning的相关工作,都可以理解成有两个变量,X和Y,并且从相应的联合分布采集出一些列N长度的{x_i, y_i},给定一个x_i,在采样出的样本中,对应的y_i就是正样本,不对应的就是负样本。对每一个正样本都匹配N个负样本计算一个softmatx loss。

不同的工作中,有的将image patch作为x,context作为y,也有将样本本身的情态(modality)分别作为x和y的,例如RGB、光流等。

字典与动态字典 Dictionary & Dynamic Dictionaries

NLP任务中,通常会通过embedding将句子中的所有word嵌入成vector,穷举所有的词,获得一个有限的vector集合,这些所有的word组成的集合,我们称之为词典。

但是正在cv任务中,我们没有办法穷举所有的图片或是描述说组成图片的构件?显然不合理。所以我们要有一种新的办法来构筑图片词典。即稳重提出的Dynamic Dictionaries。

所谓的动态词典,作者文中说的是The dictionary is dynamic in the sense that the keys are randomly sampled. 这里的Key指的是字典中的元素。字典的作用主要是在训练过程中,作为一个比较或者预测的范围。既然没有办法穷举整个图片的取值,作者在这里就采用了randomly sampling的方式(实际上这里的sample是和mini batch时的sample是一样的)

总结一下就是,动态词典是在训练过程中,随机从所有图片中采样若干张图片,作为本次训练的词典。这是作者提出的一种handle高维连续数据的trick。

主要贡献 Momentum Encoder

实际上MoCo中所提出的key和query本质上就是取名而已,是一种伪概念,对应到x和y。

MoCo做出的主要贡献是,以低开销采集到大量负样本。如图,end-to-end方法,k的大小N收到限制,必须和batch size保持一致。memory bank虽然解决了这个问题,但是要将所有的数据集都存下来,所以无法处理极大数据集的时候。MoCo的做法是每次取一个q,然后存过去m个batch的sample,也就是q。这个思路其实比较直接,但实际上MoCo的关键,便是这个momentum encoder。

momentum encoder不需要单独的反向传播、梯度下降来更新参数,moentum encoder的参数更新,依赖了q的encoder的参数和他本身的参数:

image-20210117161430544

可以看出,这个更新过程将q的encoder的参数当作了动量,用来作为更新方向,使用m来当前k的encoder本身的参数和更新的力度。这种做法和SGD momentum优化器中的动量概念相仿。

image-20210117164052033

实际上这种做法是在更新encoder参数的同时,保留了他的一个历史参数版本的smooth。也就是说,右边的这个momentum encoder事实上=左边encoder的部分历史状态+更新状态。历史状态随着迭代次数的增加,越早版本的参数在当前momentum encoder中保留的越少。

本文 MoCo

变量定义

x^q:一张图片P_q的图像增强操作(Rotate、Crop、Flip等)后的矩阵。

x^k:图片集合P_K, 包含P_q,增强操后的矩阵集。

encoder:一个网络,通过反向传播梯度下降更新参数。

momentum encoder:和encoder结构相同,通过上面提到的momentum方法更新参数。

q:x^q经过encoder网络编码后的一个向量。

k:x^k经过momentum encoder网络编码后的向量。

contrastive loss

image-20210117164957166

k:x^k经过momentum encoder网络后得到的特征向量集k,共K+1个。K个负样本,1个正样本。

k_+:k中和P_q对应的向量,1个,正样本。

k_i:k中除k_+外的其他向量,k个,负样本。

T:常数。

训练

0)初始化

准备一批图片Ps(如共1000000张图片,编号0~1000000)。创建encoder和momentum encoder,参数初始化相同。从Ps中选择前K张(如K=5000)进行数据增强操作得5000个矩阵,并将这些矩阵输入到momentum encoder生成5000个d维(如d=128)向量。

5000个128维的key vector集合为Queue(Queue将是动态更新的)。

1)准备q和k

从Ps中提取1张(第5001张)新图片p_i。

对p_i进行一次数据增强得矩阵x_q_i,shape=[1, 224, 224, 3]。

对p_i进行一次数据增强得矩阵集x_k_i,shape=[1, 224, 224,3]。

x_q_i和x_k_i是p_i的两次不同的增强。

将x_q_i输入到encoder网络得query vector,q_i,其shape=[1, 128]。

将x_k_i输入到momentum encoder网络得矩阵k_i,其shape=[1, 128]。

k:从Query中取出所有key vector,共N个,并将k_i合并,shape=[K+1, 128]

q:即q_i

2)更新encoder

使用Contrast Loss更新encoder。

使用momentum方法更新momentum encoder。

3)更新Queue

删除Queue的前部1个样本,将k_+追加在末尾。(队列的pop和push_back操作)。

实际上,训练以batch方式进行,batch size为N。共有N个q向量。所以每次pop N个,追加N个k_+。

实验结果

image-20210117173203421

本文链接:

https://www.vurkty.com/notes/120.html
1 + 4 =
快来做第一个评论的人吧~