图 1. 本文方法的框架。本文的框架由时空特征提取两部分组成（SFE）对齐模块和自适应距离（ADA）。 SFE模块主要是优化神经网络结构。 ADA是对图库集和探针集中提取的时空特征的细化。在图的底部，用圆圈来表示特征，以便于查看特征的分布。

如图 1 所示，本文的网络主要由两部分组成：SFE 模块和 ADA。 SFE模块主要是神经网络结构的优化，它可以通过简单的网络结构有效地提取原始步态序列的时空特征。 ADA是一种后处理方法，主要以现实生活中大量未标记的步态数据为基准，对提取的时空特征进行细化，可以增加不同目标间步态特征的差异。

具体来说，在 SFE 部分，首先将一些原始步态轮廓逐帧输入到 TFF。 TFF 使用 Feature Extraction Module (FEM) 来学习每一帧的全局信息，FEM 只包含 4 个卷积层和 2 个 Max pooling 层，它可以保证每一帧的详细信息都能被充分学习，然后使用简单的操作max从提取的全局特征中融合最具代表性的时间特征。它可以在保证时间信息被充分提取的同时简化网络结构，减少计算量。在 TFF 之后，将最具代表性的时间特征输入到 FFE 以学习细粒度特征。代表帧首先被分为 4 个部分，然后仅使用一个卷积层来学习其细粒度信息。 TFF 和 FFE 都使用简单的网络结构。然后将提取的时空特征输入到下一部分。这部分使用由max pooling和mean pooling组成的Global Pooling来选择从每个块中提取的合适的细粒度特征。全连接层在全局池化之后，它可以整合之前提取的特征。最后，使用hard三元组损失作为微调网络参数的限制。

在 ADA 部分，首先从现实生活中找到大量未标记的步态数据，然后使用经过训练的 SFE 模块从未标记的步态数据集中提取时空特征，并将这些提取的时空特征作为调整集。然后计算调整集中这些特征与从原始步态序列中提取的时空特征之间的距离，并通过计算的距离从调整集中选择4个与提取的时空特征相似的特征。最后，适应性的从这些选择的特征中从整体（mean）、最大（maximum）和最适中（median）三个方面选择最合适的基准，并使用基准来细化提取的时空特征。

这部分提出的模块主要是试图简化神经网络的结构，减少计算量，同时保证原始步态序列的时空特征能够被充分提取。将从 TFF 和 FEE 来介绍：其中 FFE 表示 Fine-grained Feature Extraction，TFF 表示 Temporal Feature Fusion。

1. 时间特征融合：TFF 由多个并行 FEM 和一个最大池化层组成，其中 FEM 的参数是共享的。 FEMs用于从每一帧中提取全局特征，它们可以充分提取每一帧的重要信息。最大池化用于从每帧提取的全局特征中选择最具代表性的时间特征。接下来将介绍 FEM 的结构以及可以做些什么来有效地融合这些复杂的时间信息以获得最具代表性的时间特征。

如表1所示，FEM 仅使用 4 个卷积层来提取原始轮廓的全局特征，并使用 2 个 Max pooling 层来选择这些全局特征的重要信息。这些操作可以充分提取每一帧的全局特征。然后尝试使用各种操作：max、mean、medium 来融合提取的全局特征中的代表帧，然后发现使用 max 操作可以更好地保留人类身份信息。最大操作定义为 T = Maxpooling ⁡ ( T i ) , i ∈ 1 , 2 , … , N . T=\operatorname{Maxpooling}\left(T_{i}\right), i \in 1,2, \ldots, N . T=Maxpooling(Ti​),i∈1,2,…,N. 其中 T i T_{i} Ti​是 FEM 从原始步态序列中提取的全局特征， T T T是通过 max 操作从 T i T_{i} Ti​中融合的最具代表性的时间特征。经过此操作，步态序列中最具代表性的时间特征可以很好地融合。

表1 特征提取模块的结构。 IN、OUT、KERNEL和PAD分别代表了CONV2D的输入输出通道、内核大小和填充。

2）细粒度特征提取：在以往的文献中，有研究者发现用局部特征来描述人体有突出的表现。然而，以往的研究都是分析浅层局部特征来描述人体，并且需要在不同的层特征中多次划分以提取细粒度特征，这将使网络结构更加复杂。因此，本文尝试从深层提取细粒度的特征，以简化网络结构并获得更好的结果。将提取的最具代表性的时间特征依次划分为 1、2、4 和 8 个块来学习细粒度信息，其中最具代表性的时间特征是高级特征。可以观察到，当使用 4 个块来学习细粒度特征时，它具有最好的性能。结果表明，当学习细粒度信息时，过度的阻塞并不能使细粒度信息学习得更充分，反而可能会忽略相邻部分之间的关系。还尝试使用更深的卷积层再次学习细粒度信息。但在大多数情况下，它的性能不如单个卷积层。结果有力地证明，在高级特征中使用局部思想时，不需要太深的网络结构来学习细粒度的信息。

具体来说，首先将最具代表性的帧划分为 4 个块。然后使用单个卷积层从每个块中学习细粒度信息。在此之后，使用全局池化和全连接层分别进一步整合细粒度特征和时空信息。 Global Pooling 的公式如下所示 P = Avgpooling ⁡ ( P i ) + Maxpooling ⁡ ( P i ) , i ∈ 1 , 2 , … , N P=\operatorname{Avgpooling}\left(P_{i}\right)+\operatorname{Maxpooling}\left(P_{i}\right), i \in 1,2, \ldots, N P=Avgpooling(Pi​)+Maxpooling(Pi​),i∈1,2,…,N 这两个池化操作都适用于 w 维度。通过这个操作，特征从包含 c、h 和 w 的三维数据变为包含 c 和 h 的二维数据。

步态识别主要使用特征匹配来识别目标。因此，不同目标之间的低相似度和同一目标之间的高相似度是决定识别准确率的重要因素。 hardtriplet loss在降低类间相似度和增加类内相似度方面有很好的表现。所以用这个损失作为约束来调整网络参数。硬三元组损失表示为 L trip  = max ⁡ ( max ⁡ max ⁡ ( d i + ) − min ⁡ ( d i − ) , 0 ) d i + = ∥ f i a i − f i p i ∥ 2 2 d i − = ∥ f i a i − f i n i ∥ 2 2 \begin{gathered} L_{\text {trip }}=\max \left(\max \max \left(d_{i}^{+}\right)-\min \left(d_{i}^{-}\right), 0\right) \\ d_{i}^{+}=\left\|f_{i}^{a_{i}}-f_{i}^{p_{i}}\right\|_{2}^{2} \\ d_{i}^{-}=\left\|f_{i}^{a_{i}}-f_{i}^{n_{i}}\right\|_{2}^{2} \end{gathered} Ltrip ​=max(maxmax(di+​)−min(di−​),0)di+​=∥fiai​​−fipi​​∥22​di−​=∥fiai​​−fini​​∥22​​ 其中 d i + d_{i}^{+} di+​是表示正样本和锚点 ( a i \left(a_{i}\right. (ai​和 p i ) \left.p_{i}\right) pi​)的相异性的度量， d i − d_{i}^{-} di−​是表示负样本和锚点 ( a i \left(a_{i}\right. (ai​和 n i ) \left.n_{i}\right) ni​)的相异性的度量。使用欧几里得范数得到 d i + d_{i}^{+} di+​和 d i − d_{i}^{-} di−​的值。以 d i − d_{i}^{-} di−​的最小值和 d i + d_{i}^{+} di+​的最大值作为代表来计算损失，可以有效地降低类间相似度，增加类内相似度。

在大多数情况下，Triplet loss 可以增加类内相似性并降低目标的类间相似性。然而，当遇到具有相似步行姿势的目标时，triplet loss 并不能保证他们之间的步态特征差异。所以尝试使用后处理的方法对提取的特征再次进行细化，使其更具判别力。引入自适应距离对齐技术来解决这个问题。首先，会在现实生活中发现大量未标记的步态数据。然后，使用经过训练的 SFE 模块从这些未标记的步态数据中提取时空特征。使用这些时空特征作为调整集 K G K_{G} KG​。然后，计算 K G K_{G} KG​中的特征与probe set和gallery set中的时空特征之间的距离，并选择一些与从 K G K_{G} KG​中提取的时空特征相似的特征 F S F_{S} FS​。最后，适应性的从 F S F_{S} FS​中从整体（mean）、最大（maximum）和最适中（median）方面选择最合适的基准，并使用基准来细化提取的时空特征。图 2 显示了完整的特征细化过程。可以清楚地看到，经过ADA细化后，probe set和gallery set中特征的类内相似度和类间相异度有了很大的提高。接下来，将从准备和细化两个部分来介绍ADA。

图 2. 目标 I I I的步态序列和未标记的步态数据 Seqs 都输入到经过训练的 SFE 模块，可以看到从 I I I中提取的特征 F F F的类间差异和类内相似性很小，提取的时空特征来自未标记的被用作调整集 K G K_{G} KG​，以细化从 I I I中提取的特征。经过此操作，特征F的类间相异度和类内相似度都在增加。