1 概述

本文是对论文Large-scale weakly-supervised pre-training for video action recognition的阅读笔记。在视频领域，一直没有一个像图像中ImageNet那样的标准，庞大且适用于各种下游任务的预训练数据集。这篇文章就是提出了一种构建video action recognition这一任务的预训练数据集的制作方法。因为预训练这种操作，是只要有大佬用N机N卡在N大的数据集上花N天训练好之后分享出来，我们一机一卡的老百姓就可以直接拿过来finetune一下提升自己任务的指标了，所以是非常实惠的一个东西。这么好的东西，自然要记录并分享一下。

代码可见：microsoft/computervision-recipes

论文对预训练这件事抛出了几个问题，并根据他们的实验结果，自行解答了一下，本文第4节也会按这几个问题进行总结。

预训练的数据是不是越多越好？
用于预训练的模型是不是越大越好？
预训练数据的标签种类和数量是不是越多越好？
用于预训练的每个video有长有短，时长该如何选取？

2 数据的收集方式

论文当中的数据都是通过搜索的方式下载的网上的公开视频，因此只要有功夫，数据量可以一直大下去。搜索的时候是根据label去搜索的，而且也会对label的单词进行换位，尽可能搜索到所有相关的视频，比如在找label=“catching a fish"的视频时，也会去搜索"catch fish”，"fish catching"等等。这样收集到的数据必然有一个问题，就是会有很多的视频标签是错的，也就是一大堆脏数据，但这个问题不大，数据的多样性和庞大的数据量可以outdo这个影响。

那么这些label是哪里来的呢？因为是预训练的模型，所以希望这个label涵盖的范围可以尽可能地大。文中有4中类型的label，分别是"IG-Kinetics"，“IG-Noun”，“IG-Verb”，“IG-Verb+Noun”。"IG"不用管他，就是说明出自这篇文章的一个标识。"IG-Kinetics"的label来源于Kinetics-400数据集，共359个labels；"IG-Noun"的label来源于ImageNet-1K中的名词，共1428个labels；"IG-Verb"的label来源于"Kinetics"和"VerbNet"中的动词，共438个labels；"IG-Verb+Noun"的label来源于以上两个标签集中名词和动词的组合，共10653个labels。

3 使用的模型

使用什么模型并不是论文当中的重点，只要是能够测出预训练数据的变化对模型训练的影响就行，论文当中选取了R(2+1)D-d模型，其中 $d$ 表示模型的深度，可以是 ${18, 34, 101, 152\}$ 。

训练时，虽然一个video可能有多个标签，但是按多标签的方法去训练的话，实验结果不佳，故论文用多类别的方式去训练的模型，也就是如果一个video有多个标签的话，每次从中随机选一个作为训练时的类别。

4 预训练时的一系列问题

4.1 预训练的数据是不是越多越好？

是的。

论文从"IG-Kinetics"中选取了6个子集，数据量的大小分别是 ${500K, 1M, 5M, 10M, 19M, 65M\}$ ，然后做预训练时候，分别在"Kinetics"和"Epic-Kitchens"上进行finetune，finetune采用了整个网络finetune(full-ft)和只finetune最后的全连接层(fc-only)两种方式。为了证明预训练有助于模型的训练，论文还用不用预训练的直接训练的模型结果作为baseline。

下图中，(a)是在"Kinetics"上finetune的结果，纵轴是top-1准确率，横轴是预训练用到的数量大小，其中的黄点(67.0)是baseline的准确率，该值和横轴无关。可见随着数据量的增大，准确率近似对数线性提升，相对baseline有较大提升。同时也可以发现，full-ft的准确率更高，但随着数据量的增大，fc-only的准确率慢慢逼近full-ft。

(b)是在"Epic-Kitchens"上finetune的结果，纵轴是mAP，横轴是预训练用到的数量大小，其中的黄点(12.3)是baseline的准确率，该值和横轴无关。其结论与(a)类似。不过full-ft的结果会比fc-only一直好很多。

在预训练的数据集中，有很多长尾的标签，图©对采集预训练数据时的方式进行了对比。虚线是随机采样的数据训练得到的结果，实线是把长尾类别的videos都保留训练得到的结果，在fc-only上，保留长尾数据有明显更好的效果。当数据量增大时，随机采样和保留长尾的采样数据越来越接近，训练结果也就越来越接近。

4.2 用于预训练的模型是不是越大越好？

一定程度上，是的。

这里的大，指的是模型的层数越来越多。下表就是论文在"IG-Kinetics-65M"上用 $d=\{18, 34, 101, 152\}$ 训练得到的结果。可见随着模型越来越深，准确率也越来越高。但我们也可以看到在"Epic-Kitchens"上， $101$ 的准确率要高于 $152$ 的准确率。论文认为是数据量限制了大模型的效果，不过这也是猜测而已，尚待深究。当然，大模型消耗的资源更多，速度也更慢，这是一个trade-off，现在来看， $R (2 + 1) D - 101$ 是个不错的选择。

4.3 预训练数据的标签种类和数量是不是越多越好？

标签种类和目标数据集标签种类越一致越好，数量越多并不一定好，标签的多样性和数量同时增长才好。

下图是论文用"IG-Kinetics"，“IG-Noun”，“IG-Verb”，“IG-Verb+Noun"分别作为预训练数据，然后在"Kinetics”，“Epic-Kitches-Noun”，"Epic-Kitchens-Verb"和"Epic-Kitchens-Action"上finetune得到的结果。同时也用了"Sports-1M"和"Kinetics"作为预训练数据，把其结果作为baseline参考。

可以观察到(a)中的"Kinetics"，在"IG-Kinetics"数据集上预训练后得到的结果最好，(b)中的"Epic-Kitches-Noun"在"IG-Noun"上的结果最好，©和(d)也是如此，都是在和自己label最接近的预训练数据集上的表现最好。但是"IG-Noun-Verb"里什么label都有呀，为没有其他的好呢？论文认为是标签分布不均匀导致的。

总之，预训练的标签和目标数据集的标签越一致越好。