动作识别网络AS-GCN与2s-AGCN介绍

1. 动作结构图卷积网络

下面将从时空图的构造与网络架构两方面来介绍 AS-GCN。

1. 1 AS-GCN 的时空图构造

AS-GCN 的时空图与 ST-GCN 的时空图基本相似，但是加入了用于表示关联距离的参数 L。其中，L 表示在进行图卷积运算时考虑的邻近关节点的数量。

1.2 AS-GCN 的网络架构

AS-GCN 的完整结构如下图所示。网络主体会提取输入人体骨架信息序列中的特征，将提取到的特征传递给识别头和预测头。预测头具有预测下一帧中的关节点坐标的功能，识别头用于动作识别。

AS-GCN 的主体架构如下图所示。需要进行动作识别的图像输入到网络后会经过不同的 AS-GCN 卷积块，最后输出特征。

AS-GCN 的卷积块如下图所示。该卷积块包含了动作结构图卷积，批量归一化，激活函数，时间卷积运算，并且包含了一条残差连接。其中时间维的卷积运算用于提取每个关节点随时间变化时的动作特征。

2. 双流自适应图卷积网络

2.1  2s-AGCN 的时空图构造

如下图中的三个矩阵，和所示，它们共同表示了 2s-AGCN 的时空图。图中的相当于 ST-GCN 中的卷积核，表示了对人体骨架关节点的自然卷积运算。而则是一个与大小相同的，完全参数化的矩阵。在训练过程中，会学习到关节点对于动作识别的影响，不论这些关节点在人体骨架信息图上是否直接相连。注意到中的数值不仅表示了某两个关节点之间是否会在某个动作中有交互作用，也表示了该作用的强弱。而则针对每一个向本都试图学习出一个图，用归一化的高斯函数来衡量两个关节点之间的相似性。

2. 2 2s-AGCN 的网络架构

2s-AGCN 的完整架构如下图所示。除了直接使用骨架关节点的信息，这里可以引入第二类信息，即骨架边。如果某个骨架边连接的关节点为1= (1, 1)和2= (2, 2)，则骨架边1,2= (2− 1, 2− 1)。因为总骨架边数比总变数少 1 个，所以增加一个中心点自环的一个长度为 0 的边。网络主要由骨架边分支和关节点分支两个子网络构成。2s-AGCN 将两个子网络输出层（）的值加和作为对动作标签的预测。

2s-AGCN 的主体架构，即上图中的骨架边分支和关节点分支，如下图所示。整个网络总共有 9 个图卷积块。每个自适应图卷积块输出的特征图的通道数分别为 64、64、64、128、128、128、256、256 和 256。在网络的输入部分加入了一个批量归一化层，在最后一个图卷积块后面加入了一个全局平均池化层，最后通过分类（）层输出最后的分类结果。

2s-AGCN 中卷积块的结构如下图所示。输入特征图会依次经过卷积层、批量归一化层、激活层、弃权层、卷积层，批量归一化层和激活层，并使用残差通路连接了特征图的输入与最后一个激活层的输出。

微信公众号二维码