现在公开的视频动作分类数据集有很多，比较流行的in-wild数据集主要是在YouTube上采集到的，包括以下的几个。

• HMDB-51，该数据集在YouTube和Google视频上采集，共有6849个视频片段，共有51个动作类别。

• UCF101，有着101个动作类别，13320个视频片段，大尺度的摄像头姿态变化，光照变化，视角变化和背景变化。

• sport-1M，也是在YouTube上采集的，有着1,133,157 个视频，487个运动标签。

• YouTube-8M, 有着6.1M个视频，3862个机器自动生成的视频标签，平均一个视频有着三个标签。

• YouTube-8M Segments[3]，是YouTube-8M的扩展，其任务可以用在视频动作定位，分段（Segment，寻找某个动作的发生点和终止点），其中有237K个人工确认过的分段标签，共有1000个动作类别，平均每个视频有5个分段。该数据集鼓励研究者利用大量的带噪音的视频级别的标签的训练集数据去训练模型，以进行动作时间段定位。

• Kinectics 700，这个系列的数据集同样是个巨无霸，有着接近650,000个样本，覆盖着700个动作类别。每个动作类别至少有着600个视频片段样本。

以上的数据集模态都是RGB视频，还有些数据集是多模态的：

• NTU RGB+D 60： 包含有60个动作，多个视角，共有约50k个样本片段，视频模态有RGB视频，深度图序列，骨骼点信息，红外图序列等。
• NTU RGB+D 120：是NTU RGB+D 60的扩展，共有120个动作，包含有多个人-人交互，人-物交互动作，共有约110k个样本，同样是多模态的数据集。

视频长度不定，一般我们不直接对整段视频进行分析或者处理，我们一般对视频进行采样，比如把整段视频分成若干个片段（clip），这些片段可能是定长的，比如每个片段都是10帧，也可能不是，我们通常会对每个片段进行处理，然后想办法把不同片段的处理结果融合起来，形成最终对整个视频的处理结果。不管怎么样，我们在接下来说的片段时，我们就应该知道这个片段是对某个视频的采样。

在深度学习之前，CV算法工程师是特征工程师，我们手动设计特征，而这是一个非常困难的事情。手动设计特征并且应用在视频分类的主要套路有：

特征设计：挑选合适的特征描述视频

1. 局部特征（Local features）：比如HOG（梯度直方图 ）+ HOF（光流直方图）
2. 基于轨迹的（Trajectory-based）：Motion Boundary Histograms（MBH）[4]，improved Dense Trajectories （iDT） ——有着良好的表现，不过计算复杂度过高。

集成挑选好的局部特征： 光是局部特征或者基于轨迹的特征不足以描述视频的全局信息，通常需要用某种方法集成这些特征。

在深度学习时代，视频动作理解的主要工作量在于如何设计合适的深度网络，而不是手动设计特征。我们在设计这样的深度网络的过程中，需要考虑两个方面内容：

1. 模型方面：什么模型可以最好的从现有的数据中捕获时序和空间信息。
2. 计算量方面：如何在不牺牲过多的精度的情况下，减少模型的计算量。

组织时序信息是构建视频理解模型的一个关键点，Fig 3.2展示了若干可能的对多帧信息的组织方法。[6]

1. Single Frame，只是考虑了当前帧的特征，只在最后阶段融合所有的帧的信息。
2. Late Fusion，晚融合使用了两个共享参数的特征提取网络（通常是CNN）进行相隔15帧的两个视频帧的特征提取，同样也是在最后阶段才结合这两帧的预测结果。
3. Early Fusion，早融合在第一层就对连续的10帧进行特征融合。
4. Slow Fusion，慢融合的时序感知野更大，同时在多个阶段都包含了帧间的信息融合，伴有层次（hierarchy）般的信息。这是对早融合和晚融合的一种平衡。

在最终的预测阶段，我们从整个视频中采样若各个片段，我们对这采样的片段进行动作类别预测，其平均或者投票将作为最终的视频预测结果。

最终若干个帧间信息融合的方法在sport-1M测试集上的结果如Fig 3.3所示：

另外说句，[6]的作者从实验结果中发现即便是时序信息建模很弱的Single-Frame方式其准确率也很高，即便是在很需要motion信息的sports体育动作类别上，这个说明不仅仅是motion信息，单帧的appearance信息也是非常重要的。

这种在单帧层面用CNN进行特征提取，在时序方面用融合池化不同片段的预测的方式，在理论上，是分不清楚“开门”和“关门”两种动作的，因为其本质上没有对时序因果信息进行建模，只是融合了不同片段的预测结果而已。忽略了时间结构信息，这是融合方法的一种潜在缺点。

考虑到融合方式并不能考虑到时序因果信息，时间结构信息被忽略了[13]，我们需要重新思考新的时序信息提取方式。我们知道，这些融合方法，都是手动设计的融合帧间特征的方式，而深度学习网络基本上只在提取单帧特征上发挥了作用。这样可能不够合理，我们期望设计一个深度网络可以进行端到端的学习，无论是时序信息还是空间信息。于是我们想到，既然视频序列和文本序列，语音序列一样，都是序列，为什么我们不尝试用RNN去处理呢？

的确是可以的，我们可以结合CNN和RNN，直接把视频序列作为端到端的方式进行模型学习。设计这类模型，我们有几种选择可以挑选：

1. 考虑输入的数据模态：a> RGB； b> 光流； c> 光流+RGB
2. 特征： a> 人工设计； b> 通过CNN进行特征提取
3. 时序特征集成：a> 时序池化； b> 用RNN系列网络进行组织

时序池化如Fig 3.4所示，类似于我们之前讨论的时序融合，不过在细节上不太一样，这里不展开讨论了，具体见文章[8]。

然而，[8]的作者得出的结论是时序池化比LSTM进行时序信息组织的效果好，这个结论然而并不是准确的，因为[8]的作者并不是端到端去训练整个网络。

如果单纯考虑CNN+RNN的端到端训练的方式，那么我们就有了LRCN网络[9]，如Fig 3.5所示，我们可以发现其和[8]的不同在于其是完全的端到端网络，无论是时序和空间信息都是可以端到端训练的。同样的，[9]的作者的输入同样进行了若干种结合，有单纯输入RGB视频，单纯输入光流，结合输入光流和RGB的，结论发现结合输入光流和RGB的效果最为优越。这点其实值得细品，我们知道光流信息是传统CV中对运动motion信息的手工设计的特征，需要额外补充光流信息，说明光靠这种朴素的LSTM的结构去学习视频的时序信息，motion信息是不足够的，这点也在侧面反映了视频的时序组织的困难性。

对比之后我们将会谈到的C3D网络，CNN+RNN的这种网络框架意味着我们可以利用ImageNet的海量标注图像数据去预训练CNN网络，这样使得我们模型性能更佳优越并且收敛更加稳定，事实上，如果完全从头训练LRCN网络（from scratch），那么按照笔者的经验是训练过程很不稳定，很容易发散，一般实际中我们都会采用已经经过预训练了的CNN作为特征提取器，然后固定住CNN后训练LSTM直至收敛后，再用较小的学习率端到端训练整个网络。

LRCN当然不可避免存在缺点，采用了光流信息作为输入意味着需要大量的预先计算用于计算视频的光流；而视频序列的长时间依赖，motion信息可能很难被LSTM捕获；同时，因为需要把整个视频分成若干个片段，对片段进行预测，在最后平均输出得到最终的视频级别的预测结果，因此如果标注的动作只占视频的很小一段，那么模型很难捕获到需要的信息。

结合光流信息并不是LRCN系列网络的专利，Two Stream Network双流网络[10]也是结合视频的光流信息的好手。在双流网络中，我们同样需要对整个视频序列进行采样，得到若干个片段，然后我们从每个片段中计算得到光流信息作为motion信息描述这个动作的运动，然后从这个片段中采样得到一帧图像作为代表（通常是最中间的帧，片段长度通常是10），表征整个片段的appearance信息。最终分别在motion流和appearance流都得到各自的分类结果，在最后层里进行各自分类结果的融合得到整个片段的预测结果。这种显式地利用光流来组织时序信息，把motion流和appearance流显式地分割开进行模型组织的，也是一大思路。

这里需要注意一些其中的技术细节，不然后面讨论我们可能会产生疑惑。我们的光流分别需要对x和y方向进行计算，因此对于同一张图而言，会产生x方向的光流和y方向的光流，如上图的(d)和(e)所示。因此，在实践中，如果我们取片段长度 L = 10 L=10 L=10，那么对于一个片段我们便会有20个光流通道，因此我们的motion流的输入张量尺寸为 ( b a t c h _ s i z e , 224 , 224 , 20 ) (batch\_size, 224,224,20) (batch_size,224,224,20)，而appearance流的输入张量尺寸为 ( b a t c h _ s i z e , 224 , 224 , 3 ) (batch\_size, 224,224,3) (batch_size,224,224,3)。我们发现motion流的通道数为20，不能直接用在经过ImageNet预训练过后的模型进行初始化，因为一般ImageNet上预训练的模型的输入通道都是3。为了解决这个问题，我们可以用经过ImageNet预训练的模型，比如VGG的第一层卷积层，比如为 k e r n e l = ( 3 , 3 , 3 , 64 ) kernel = (3,3,3,64) kernel=(3,3,3,64)，在输入通道那个阶求平均，也就是 k e r n e l . m e a n ( d i m = 2 ) kernel.mean(dim=2) kernel.mean(dim=2)，然后得到一个尺寸如 ( 3 , 3 , 1 , 64 ) (3,3,1,64) (3,3,1,64)的张量，用这个张量去初始化我们的motion流的输入的第一层卷积，这样虽然我们的motion流有20个输入通道，但是这个20个输入通道的参数是初始化为相同的。除去第一层卷积层，其他后续的层继续沿用经过预训练的VGG的层。因此，motion流和appearance流最后的输出特征图张量尺寸都是一致的，举个例子比如是 ( b a t c h _ s i z e , 64 , 64 , 256 ) (batch\_size, 64,64,256) (batch_size,64,64,256)。那么我们分别对每个流都预测一个结果，然后对这个结果进行融合，比如求平均，得到对这个片段的最后识别结果。

当然，LRCN具有的问题，双流网络同样也有，包括计算光流的计算复杂度麻烦，采样片段中可能存在的错误标签问题（也就是采样的片段可能并不是和视频级别有着相同的标签，可能和视频级别的标注相符合的动作只占整个视频的很小一段。）对长时间依赖的动作信息组织也是一个大问题。然而，因为双流网络两个流主要都是用2D卷积网络进行特征提取，意味着我们同样可以使用在ImageNet上经过预训练的模型作为良好的参数初始化，这是双流网络的一大优点。

到目前为止，我们都是尝试对视频的单帧应用2D卷积操作进行特征提取，然后在时间轴上进行堆叠得到最终的含有时间序列信息的特征。

我们自然就会想到，如果有一种卷积，能在提取空间信息的同时又能够提取时序信息，那岂不是不需要手工去堆叠时序特征了？一步到位就行了。的确的，我们把这种卷积称之为3D卷积，3D卷积正如其名，其每个卷积核有三个维度，两个在空间域上平移，而另一个在时间轴上滑动卷积。

这样的工作可以追溯到2012年的文章[11]，那该文章中，作者提出的网络不是端到端可训练的，同样设计了手工的特征，称之为input-hardwired，作者把原视频的灰度图，沿着x方向的梯度图，沿着y方向的梯度图，沿着x方向的光流图，沿着y方向的光流图堆叠层H1层，然后进行3D卷积得到最终的分类结果。如果我们仔细观察Fig 3.7中的3D卷积核的尺寸，我们发现其不是我们现在常见的 3 × 3 × 3 3\times3\times3 3×3×3的尺寸。这个网络开创了3D卷积在视频上应用的先河，然而其也有不少缺点，第一就是其不是端到端可训练的，还是涉及到了手工设计的特征，其二就是其设计的3D卷积核尺寸并不是最为合适的，启发自VGG的网络设计原则，我们希望把单层的卷积核尽可能的小，尽量把网络设计得深一些。

这些缺点带来了C3D[12]网络，与[11]最大的不同就是，C3D其使用的卷积核都是相同的尺寸大小，为 3 × 3 × 3 3\times3\times3 3×3×3，并且其不涉及到任何手工设计特征输入，因此是完全的端到端可训练的，作者尝试把网络设计得更深一些，最终达到了当时的SOTA(state-of-the-art)结果。作者发现结合了iDT特征，其结果能有5%的大幅度提高（在ufc101-split1数据上从85.2%到90.4%）。