基于不同数据模态的人类动作识别综述研究

1 概述

最近，一篇被 TPAMI 接收的综述文章《Human Action Recognition from Various Data Modalities: A Review》引起了不小的关注。简单来说，人类动作识别（HAR）的目标是理解人的行为，然后给每个行为贴上对应的标签。有意思的是，可以用来表示动作和行为的数据形态多种多样，大致可以分成两类：视觉模态和非视觉模态。这两者最大的区别在于——视觉模态的数据看起来比较直观，而非视觉模态就没那么“一目了然”了。视觉模态包括 RGB、骨架、深度、红外、点云、事件流（event stream）等；非视觉模态则涵盖音频、加速度、雷达、WiFi 信号等，具体可参考图 1。每种模态都在编码不同的信息源，在不同的应用场景下各有各的独特优势。

图 1 HAR 任务中使用到的数据模态

这篇文章对基于不同数据模态的深度学习 HAR 方法的最新进展做了一个相当综合的调研。核心内容分成三块：（1）目前主流的单模态深度学习方法；（2）主流的多模态深度学习方法，包括基于融合（fusion）和协同学习（co-learning）的框架；（3）当前 HAR 任务中常用的数据集。

2 单模态学习方法

前面提到，不同模态各有各的长处。在这些模态里，单独使用 RGB / 光流和骨架的 HAR 工作相对多得多。其他模态因为存在一些固有缺陷，单独使用的场景比较少，大多时候都是和其他模态搭配着来。

2.1 RGB 和光流模态

RGB 模态就是 RGB 相机拍下来的图像或序列。光流则是视频中同一对象像素点从一帧移动到下一帧的偏移量，由于通常是从 RGB 数据进一步生成的，这里就把 RGB 和光流统称为 RGB 模态。RGB 模态的优点和缺点都很突出——优点包括：（1）RGB 数据容易收集，属于最常用的模态；（2）包含场景上下文信息；（3）基于 RGB 的 HAR 方法还可以用来做预训练模型。缺点方面：（1）背景、视点、尺度和光照变化会让识别变得有挑战性；（2）RGB 视频数据量大，计算成本高。图 2 展示了基于 RGB 模态的 HAR 方法的主要分类，下面逐个来看。

图 2 基于 RGB / 光流模态的 HAR 方法分类

基于 2D 双流网络的方法。这类方法的核心是：用两个或多个 backbone 学习不同的视频特征。[1] 和 [2] 是最具代表性的工作。[1] 的两个 stream 分别输入 RGB 帧和多帧光流，分别学习外观和运动特征——这个 RGB+光流的组合被后续很多工作效仿。[2] 则把低分辨率 RGB 帧和高分辨率 RGB 帧的中心裁剪分别输入两个 stream，以此降低计算量。精确的光流计算成本很高，所以如何在低计算成本下获得光流的近似或替代，也是这类方法的一个研究重点。比如 [3] 提出了一个知识蒸馏框架，把用光流训练的 teacher network 的知识迁移到以 motion vector 为输入的 student network——motion vector 可以直接从压缩视频中得到，省掉了额外计算。

基于 RNN 的方法。2D 双流网络的一个短板是对时序上的长期依赖关系建模不足，这时用 LSTM 等时序模型就能弥补。这类方法按核心贡献又可以分为 4 小类：（1）2D CNN 与 RNN 的组合（如 [4] 用 2D CNN 提取每帧特征，再通过 LSTM 生成动作标签）；（2）引入 attention 机制，包括空间 attention 和时序 attention 或两者组合（比如 [5] 设计了一个多层 LSTM 模型，递归输出下一帧输入 feature map 的 attention map）；（3）用 GRU 代替 RNN——GRU 参数更少，在 HAR 上通常能达到与 LSTM 相近的性能；（4）2D 双流网络和 RNN 的结合（例如 [6] 先用 2D 双流网络分别提取 spatial 和短期运动特征，再输入两个 LSTM 提取长时运动信息）。

基于 3D CNN 的方法。RNN 方法通常是对 CNN 已经提取出的特征进行操作，而不是直接处理原始图像序列。3D CNN 方法则可以直接做到这一点。同样分为 4 小类：（1）2D CNN 到 3D CNN 的扩展（[7] 直接用 3D 卷积从原始视频中学习时空特征）；（2）对长时序依赖关系的建模——3D CNN 有 CNN 的共性，侧重局部信息提取，全局能力不足，[8] 提出长时时间卷积框架，以降低空间分辨率为代价增加 temporal 维度的感受野；（3）3D 卷积的分解——3D 卷积参数多、数据需求大，[9] 将 3D 卷积分解为空间上的 2D 卷积和时间上的 1D 卷积；（4）其他问题探讨，比如 [10] 从概率角度分析 3D 卷积的时空融合，[11] 提出随机均值缩放的正则化方法防止过拟合。

基于 Transformer 的方法。Transformer 以 attention 为核心，在长时序建模、多模态融合和多任务处理上表现不错。随着 transformer 在 NLP 领域的成功，很多研究将其应用到 HAR 中。例如 [12] 把视频分解成 frame-level 的 patches，将 ViT 应用到视频中，并在每个 block 中分别使用 spatial 和 temporal attention。不过 transformer 的通病是显存和计算开销大，所以不少工作也在研究如何降低复杂度，比如 [13] 把 3D 视频帧转换成 2D 的 super image 作为输入，[14] 用 2D CNN 处理空间特征 + 基于 temporal attention 的 encoder，在精度和速度之间取得平衡。

2.2 骨架数据模态

骨架序列表示人体关节的轨迹，这些轨迹可以用来表征运动，因此骨架数据比较适配 HAR 任务。它提供身体结构和姿态信息，有两个明显优点：（1）具有比例不变性；（2）对服装纹理和背景鲁棒。缺点也有：（1）骨架信息表示比较稀疏，存在噪声；（2）缺少人-物交互时可能存在的形状信息。图 3 展示了基于骨架模态的 HAR 方法分类。

图 3 基于骨架数据模态的 HAR 方法分类

基于 RNN 的方法。使用 RNN 的核心原因是希望学习时序数据中的动态依赖性。这类方法大多聚焦于 RNN 或 LSTM 在 HAR 上的改进和应用。比如 [15] 将人体骨骼分成 5 个部分，分别输入多个双向 RNN，然后将输出分层融合生成高级表示；[16] 提出部分感知 LSTM，模拟 LSTM 单元中不同身体部分之间的关系。

基于 CNN 的方法。CNN 在空间维度上的特征提取能力很强。把它应用到骨架 HAR 时，一个研究重点是对时空信息的建模。[17] 和 [18] 的思路是把骨架序列数据编码成图像，再送入 CNN 做动作识别——分别提出了骨骼光谱图和关节轨迹图。此外，也有工作专门解决视点变化和计算成本过高的问题。

基于 GNN/GCN 的方法。把骨架数据表示成序列或 2D/3D 图像，并不能完全准确地模拟身体关节。而人体骨架天然可以表示成图结构，所以基于 GNN 或 GCN 的方法成了近两年的热门方向。[19] 把人体骨架表示成有向无环图，有效合并骨骼和关节信息；[20] 设计了时空 GCN（Spatial-temporal GCN），从骨架数据中分别学习 spatial 和 temporal 特征。

基于 Transformer 的方法。将 transformer 应用于骨架序列的 HAR 时，研究重点仍然是时空维度建模。[21] 提出 Spatial-Temporal Specialized Transformer (STST)，由一个 spatial transformer 模块和一个 temporal transformer 模块组成——前者捕捉 frame-level 的姿态信息，后者在 temporal 维度上捕捉长动作。

2.3 深度模态

深度图中的像素值表示从给定视点到场景中点的距离，本质上是将 3D 数据转换成 2D 图像。该模态对颜色和纹理变化比较鲁棒，如今已有多种设备可以捕获深度图。现有方法大多还是用 CNN 提取深度图特征。深度数据能提供几何形状信息，但缺少外观数据，所以通常不单独使用，而是与其他模态融合。

2.4 红外模态

红外数据的获取有两种方式：（1）主动式——发射红外线，利用目标反射的红外线感知场景；（2）被动式——感知物体发出的红外线。在目前基于深度学习方法中，比较常见的做法是把红外图像作为其中一个 stream 输入双流或多流网络。红外数据不依赖外部可见光，很适合夜间 HAR，但弱点也很明显：对比度低、信噪比低。

2.5 点云模态

点云数据由大量点组成，表示物体的空间分布和表面特征。作为一种 3D 数据形态，它表达物体轮廓和三维几何形状的能力很强，对视点变化不敏感。但点云中通常存在噪声和高度不均匀的点分布。[22] 将原始点云序列转换为规则的体素集合，应用 temporal rank pooling 将 3D 动作信息编码到单个 voxel set 中，然后通过 PointNet++ [23] 应用于 3D HAR。不过将点云转体素效率低且会带来量化误差。[24] 提出直接堆叠多帧点云，通过聚合 temporal 和 spatial 维度上相邻点的信息计算局部特征。

2.6 事件流模态

事件相机可以捕捉照明条件的变化，并为每个像素独立产生异步事件。传统相机通常捕捉整个图像阵列，而事件相机只响应视觉场景的变化——能有效滤除背景信息，只保留前景运动信息，避免大量冗余。但捕捉到的信息在时间和空间上都是稀疏且异步的。所以现有方法主要聚焦于设计事件聚合策略，将异步输出转换为同步的视觉帧。

2.7 音频模态

音频信号通常与视频信号一起提供。由于音频和视频同步，音频数据可以用来定位动作。但音频信号中的信息量不足，单独用音频做 HAR 比较少见，更常见的是作为补充信息与其他模态（如 RGB）一起使用。

2.8 加速度模态

加速度信号通常从加速度计获得，优点包括：（1）对遮挡、视点、照明、背景等因素鲁棒；（2）对于特定动作，人们通常用相似方式完成，所以类内方差较小；（3）可用于细粒度 HAR。局限性也很明显：（1）志愿者需要随身佩戴传感器，而且通常比较笨重；（2）传感器在人体上的具体位置对性能有明显影响。

2.9 雷达模态

雷达发射电磁波并接收来自目标的回波，优势是对照明和天气条件鲁棒，且有穿墙感知能力，但昂贵的传感器成本是制约因素。现有方法将多普勒频谱图看作时间序列或图像，分别送入 RNN 和 CNN 进行预测，也有一些方法将其纳入双流网络结构。

2.10 WiFi 模态

WiFi 是室内最常见的无线信号之一。由于人体是无线信号的良好反射体，WiFi 信号可以用于 HAR。现有方法大多使用信道状态信息（CSI）来执行任务。如何更有效地利用 CSI 的相位和幅度信息，以及如何在动态环境中提高鲁棒性，是目前面临的主要挑战。

3 多模态学习方法

多模态机器学习是一种建模方法，旨在处理和关联来自多个模态的视觉信息。通过聚合各种数据模态的优势，多模态学习能在 HAR 上获得更鲁棒、更准确的结果。主要方法有两种：融合（fusion）和协同学习（co-learning）。融合是指对来自两个或更多模态的信息进行集成，用于训练或推理；协同学习则指在不同模态之间迁移知识。图 4 展示了分类情况。对于每种类型，本篇解读会介绍原综述中提到的一些代表性方法，更多内容请直接阅读原综述文章。

图 4 多模态 HAR 方法分类

3.1 HAR 任务中的多模态融合

模态融合的目的是利用不同数据模态的互补优势，达到更好的识别性能。现有方案主要有两种：（1）评分融合（score fusion）——对不同模态输出的 score 做融合，比如加权平均或学习一个分数融合模型；（2）特征融合——对不同模态的特征进行组合。数据融合（在特征提取前就融合不同模态的输入数据）也可以看作是特征融合，因为某一模态的数据可视为该模态的原始特征。依据输入模态的不同，现有方法大致可分为视觉模态之间的融合，以及视觉+非视觉模态之间的融合。

视觉模态之间的融合

（1）RGB + 深度模态：RGB 和深度分别捕捉外观信息和 3D 形状信息，互补性很强。[25] 提出一个 four-stream CNN，一个 stream 输入 RGB，另三个 stream 输入不同视点下的深度运动图，融合策略选评分融合。[26] 将 RGB 和深度数据看作两对动态图像，通过协同训练的 CNN 提取特征，联合优化排序损失和 softmax 损失。[27] 提出多流混合网络，分别用 CNN 和 3D convLSTM 提取 RGB 和深度图特征，然后通过典型关联分析（CCA）融合。

（2）RGB + 骨架模态：骨架提供身体位置和关节运动信息，与 RGB 互补。[28] 提出双流深度网络（CNN+RNN）分别处理 RGB 和骨架，同时尝试了特征融合和分数融合，发现特征融合效果更好。[29] 设计一个 three-stream 3D CNN 分别处理人体姿态、运动和 RGB 图像，通过马尔科夫链融合三个 stream。[30] 提出时空 LSTM 网络，在 LSTM 单元内融合 RGB 和骨架特征。

（3）深度图 + 骨架模态：[31] 将身体各部分之间的相对几何关系作为骨架特征，不同身体部分周围的深度图像块作为外观特征，编码身体-对象和身体部分之间的关系。[32] 提出 three-stream 2D CNN，对深度和骨架序列提取的三种不同手工特征进行分类，然后用评分融合得到最终结果。

（4）RGB + 深度图 + 骨架模态：这类方法大多是前三类的扩展。[33] 研究模态间的相关性，分解成相关和独立成分，用结构化稀疏分类器输出。[34] 从每个模态提取 temporal feature map，然后在模态维度执行 concat 操作。[35] 提出 five-stream network，输入包括历史运动图像、深度运动图以及从 RGB、深度和骨架序列生成的三种骨架图像。

（5）其他视觉模态间的融合：思路与前述类似。[36] 提出基于 TSN [37] 的多模态融合模型，RGB、深度图、红外和光流序列分别用 TSN 初始分类，再通过融合网络得到最终分数。

视觉模态 + 非视觉模态的融合

同样，视觉与非视觉模态融合的目的也是利用互补性得到更精确的模型。

（1）视频与音频的融合：音频可以为视频的外观和运动提供补充信息。[38] 引入 three-stream CNN，从音频信号、RGB 帧和光流中分别提取特征再融合（特征融合优于评分融合）。[39] 是 [37] 的改进，在每个时间绑定窗口内融合多模态输入序列（即融合信息可能异步）。[40] 利用音频信号减少视频中的时间冗余，将使用 video clips 训练的 teacher network 知识提取到使用图像-音频对训练的 student network 中。

（2）视频与加速度模态的融合：大多采用双流或多流网络架构。[41] 将惯性信号表示为图像，用两个 CNN 分别处理视频和惯性信号，最后用评分融合。[42] 则将 3D 视频帧序列和 2D 惯性图像分别送入 3D CNN 和 2D CNN，然后执行模态间融合。

（3）其他类型的模态融合：比较有代表性的有 [43] 和 [44]。[43] 将非 RGB 模态的数据（骨架、加速度、WiFi）都转换成彩色图像，再送入 CNN。[44] 提出 video-audio-text transformer（VATT），将视频、音频和文本数据的线性投影作为 transformer 输入，提取多模态特征，量化不同模态的粒度，并用视频-音频对和视频-文本对的 NCE Loss 训练。

3.2 HAR 任务中的多模态协同学习

多模态协同学习旨在探索如何利用辅助模态学到的知识帮助另一个模态的学习，通过跨模态知识传递克服单一模态的缺点。与多模态融合的关键区别在于：协同学习中，辅助模态的数据只在训练阶段需要，测试时不需要。所以它特别适用于模态缺失的场景，对模态样本数较小的情况也有帮助。

视觉模态的协同学习

（1）RGB 和深度模态的协同学习。[45] 用知识蒸馏实现协同学习——teacher network 输入深度图，student network 输入 RGB 图像。[46] 提出基于对抗学习的知识提取策略。[47] 提出合作学习策略——在不同输入模态中，用分类损失最小的模态生成的预测标签作为其他模态的附加监督信息。（2）RGB 和骨架模态的协同学习。[48] 用 CNN+LSTM 执行基于 RGB 视频的分类，同时用骨架数据训练的 LSTM 模型充当调节器，强制两个模型的输出特征相似。（3）其他视觉模态的协同学习。[49] 提出可迁移的生成模型，输入红外视频，生成对应 RGB 视频的虚假特征表达——生成器由两个子网络组成，一个用于区分虚假特征和真实 RGB 特征，另一个将红外视频的特征和生成的特征结合，执行动作分类。

视觉和非视觉模态的协同学习

大致分为两种类型：第一种是不同模态之间的知识迁移，比如 [50] 中 teacher network 用非视觉模态训练，student network 用 RGB 输入，通过强制 teacher 和 student 的 attention map 相似来弥补模态形态差距。第二种是利用不同模态的相关性进行自监督学习，比如 [51] 分别用音频/视频模态的无监督聚类结果作为视频/音频模态的监督信号；[52] 使用视频和音频的时间同步信息作为自监督信号。

4 现有的数据集

原论文中的 table 6 展示了目前 HAR 任务各个数据模态的数据集，如下所示：

可以看到，对绝大部分数据模态，目前都有对应的数据集，这在很大程度上方便了我们对 HAR 任务的研究和探索。

5 总结

作者在原综述文章的最后部分展望了 HAR 领域未来的发展方向，认为有 6 个方向可能是研究和探索的重点：（1）新数据集（比如不受控环境下的多模态数据集）；（2）多模态学习；（3）高效的行为分析；（4）早期行为识别（即只有一部分动作被执行）；（5）大规模训练；（6）无监督和半监督学习。作者还提到会定期收集 HAR 领域的最新进展并更新到综述文章中。

6 个人思考

这篇综述调研了约 500 篇文章，几乎涵盖了 HAR 任务中可能用到的各个模态，算是这一领域非常全面的总结了。从综述可以看出，无论是单模态还是多模态模型，其 backbone 通常都是以下几种网络之一（或它们的组合）：

（1）2D CNN（空间信息提取）；
（2）RNN/LSTM/GRU（时序信息提取）；
（3）3D CNN（时空维度信息提取）；
（4）GNN/GCN（节点关系抽取）；
（5）Transformer（长时序建模）。

对于多模态融合，目前最常见的做法是用双流或多流网络，每个 stream 分别提取一个模态的特征，然后再接一个多模态融合模块。对于多模态协同学习，目前常见的做法则是跨模态知识蒸馏或对抗学习框架。这些 backbone 和融合/协同学习策略的组合，基本概括了目前 HAR 领域的大部分工作。

不同模态的数据往往需要不同的模型来提取特征，这对 HAR 的模型设计来说并不方便。有时为了适配现有模型，还得对某些模态的数据做特定预处理（比如把一维音频信号转成二维频谱图再送入 CNN），这过程中可能存在信息丢失。那么，能否有一种通用模型，能够比较好地处理各种形态不同的多模态数据？这是目前整个 AI 界都比较关注的问题，在 HAR 任务上体现得尤为明显。Transformer 目前在图像、文本等模态上都取得了非常好的效果，它能否成为我们期待的通用模型呢？以现在 AI 领域日新月异的发展速度，答案也许很快就能看到。

另外，综述的多模态学习部分按照使用的模态对现有工作进行了分类总结，而多模态学习的研究核心很大一部分在于模态间的融合或协同学习策略。如果能按照具体的融合或协同学习策略对现有工作进行分类总结，可能会更有条理一些。

参考文献

[1] K. Simonyan and A. Zisserman, "Two-stream convolutional networks for action recognition in videos," in Advances in Neural Information Processing Systems, vol. 27, 2014.

[2] A. Karpathy, G. Toderici, S. Shetty, T. Leung, R. Sukthankar, and L. Fei-Fei, "Large-scale video classification with convolutional neural networks," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014, pp. 1725-1732.

[3] B. Zhang, L. Wang, Z. Wang, Y. Qiao, and H. Wang, "Real-time action recognition with enhanced motion vector cnns," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 2718-2726.

[4] J. Donahue, L. Anne Hendricks, S. Guadarrama, M. Rohrbach, S. Venugopalan, K. Saenko, and T. Darrell, "Long-term recurrent convolutional networks for visual recognition and description," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 2625-2624.

[5] S. Sharma, R. Kiros, and R. Salakhutdinov, "Action recognition using visual attention," arXiv preprint arXiv:1511.04119, 2015.

[6] Z. Wu, X. Wang, Y.-G. Jiang, H. Ye, and X. Xue, “Modeling spatial-temporal clues in a hybrid deep learning framework for video classification,” in Proceedings of the 23rd ACM international conference on Multimedia, 2015, pp. 461-470.

[7] D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, "Learning spatiotemporal features with 3d convolutional networks," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 4489-4497.

[8] G. Varol, I. Laptev, and C. Schmid, "Long-term temporal convolutions for action recognition," IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 6, pp. 1510-1517, 2017.

[9] Z. Qiu, T. Yao, and T. Mei, "Learning spatio-temporal representation with pseudo-3d residual networks," in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 4489-4497.

[10] Y. Zhou, X. Sun, C. Luo, Z.-J. Zha, and W. Zeng, "Spatiotemporal fusion in 3d cnns: A probabilistic view," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020, pp. 1725-1732.

[11] J. Kim, S. Cha, D. Wee, S. Bae, and J. Kim, "Regularization on spatio-temporally smoothed feature for action recognition," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020, pp. 12103-12112.

[12] G. Bertasius, H. Wang, and L. Torresani, "Is space-time attention all you need for video understanding?," in ICML, vol. 2, no. 3, 2021.

[13] Q. Fan, C.-F. Chen, and R. Panda, "Can an image classifier suffice for action recognition?," in International Conference on Learning Representations, 2022.

[14] D. Neimark, O. Bar, M. Zohar, and D. Asselmann, "Video transformer network," in Proceedings of the IEEE International Conference on Computer Vision, 2021, pp. 3163-3172.

[15] Y. Du, W. Wang, and L. Wang, "Hierarchical recurrent neural network for skeleton based action recognition," in Proceedings of the IEEE International Conference on Computer Vision, 2015, pp. 1110-1118.

[16] A. Shahroudy, J. Liu, T.-T. Ng, and G. Wang, "Ntu rgb+d: A large scale dataset for 3d human activity analysis," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 1010-1019.

[17] Y. Hou, Z. Li, P. Wang, and W. Li, "Skeleton optical spectra-based action recognition using convolutional neural networks," IEEE Transactions on Circuits and Systems for Video Technology, vol. 28, no. 3, 2016.

[18] P. Wang, Z. Li, Y. Hou, and W. Li, "Action recognition based on joint trajectory maps using convolutional neural networks," in Proceedings of the 24th ACM international conference on Multimedia, 2016, pp. 102-106.

[19] L. Shi, Y. Zhang, J. Cheng, and H. Lu, "Skeleton-based action recognition with directed graph neural networks," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2019, pp. 7912-7921.

[20] S. Yan, Y. Xiong, and D. Lin, "Spatial temporal graph convolutional networks for skeleton-based action recognition," in Thirty-second AAAI conference on artificial intelligence, 2018.

[21] Y. Zhang, B. Wu, W. Li, L. Duan, and C. Gan, "Stst: Spatial-temporal specialized transformer for skeleton-based action recognition," in Proceedings of the 29th ACM international conference on Multimedia, 2021, pp. 3229-3237.

[22] Y. Wang, Y. Xiao, F. Xiong, W. Jiang, Z. Cao, J. T. Zhou, and J. Yuan, "3dv: 3d dynamic voxel for action recognition in depth video," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020, pp. 511-520.

[23] C. R. Qi, L. Yi, H. Su, and L. J. Guibas, "Pointnet++: Deep hierarchical feature learning on point sets in a metric space," in Advances in Neural Information Processing Systems, vol. 30, 2017.

[24] X. Liu, M. Yan, and J. Bohg, "Meteornet: Deep learning on dynamic 3d point cloud sequences," in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 9246-9255.

[25] J. Imran and P. Kumar, "Human action recognition using rgb-d sensor and deep convolutional neural networks," in 2016 international conference on advances in computing, communications and informatics (ICACCI), 2016, pp. 144-148.

[26] P. Wang, W. Li, J. Wan, P. Ogunbona, and X. Liu, "Cooperative training of deep aggregation networks for rgb-d action recognition," in Thirty-second AAAI conference on artificial intelligence, 2018.

[27] H. Wang, Z. Song, W. Li, and P. Wang, "A hybrid network for large-scale action recognition from rgb and depth modalities," Sensors, vol. 20, no. 11, 2020.

[28] R. Zhao, H. Ali, and P. Van der Smagt, "Two-stream rnn/cnn for action recognition in 3d videos," in 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2017, pp. 4260-4267.

[29] M. Zolfaghari, G. L. Oliveira, N. Sedaghat, and T. Brox, "Chained multi-stream networks exploiting pose, motion, and appearance for action classification and detection," in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 2904-2913.

[30] J. Liu, A. Shahroudy, D. Xu, A. C. Kot, and G. Wang, "Skeleton-based action recognition using spatio-temporal lstm network with trust gates," IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 12, pp. 3007-3021, 2017.

[31] H. Rahmani and M. Bennamoun, "Learning action recognition model from depth and skeleton videos," in Proceedings of the IEEE International Conference on Computer Vision, 2017, pp. 5832-5841.

[32] S. S. Rani, G. A. Naidu, and V. U. Shree, "Kinematic joint descriptor and depth motion descriptor with convolutional neural networks for human action recognition," Materials Today, vol. 37, 3164-3173, 2021.

[33] A. Shahroudy, T.-T. Ng, Y. Gong, and G. Wang, "Deep multimodal feature analysis for action recognition in rgb+d videos," IEEE transactions on pattern analysis and machine intelligence, vol. 40, no. 5, pp. 1045-1058, 2017.

[34] J.-F. Hu, W.-S. Zheng, J. Pan, J. Lai, and J. Zhang, "Deep bilinear learning for rgb-d action recognition," in Proceedings of the European Conference on Computer Vision, 2018, pp. 5832-5841.

[35] P. Khaire, P. Kumar, and J. Imran, "Combining cnn streams of rgb-d and skeletal data for human activity recognition," Pattern Recognition Letters, vol. 115, pp. 107-116, 2018.

[36] S. Ardianto and H.-M. Hang, "Multi-view and multi-modal action recognition with learned fusion," in 2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC), pp. 1601-1604, 2018.

[37] L. Wang, Y. Xiong, Z. Wang, Y. Qiao, D. Lin, X. Tang, and L. Van Gool, "Temporal segment networks: Towards good practices for deep action recognition," in Proceedings of the European Conference on Computer Vision, 2016, pp. 20-36.

[38] C. Wang, H. Yang, and C. Meinel, "Exploring multimodal video representation for action recognition,"in 2016 International Joint Conference on Neural Networks (IJCNN), pp. 1924-1931, 2016.

[39] E. Kazakos, A. Nagrani, A. Zisserman, and D. Damen, "Epic-fusion: Audiovisual temporal binding for egocentric action recognition," in Proceedings of the IEEE International Conference on Computer Vision, 2019, pp. 5492-5501.

[40] R. Gao, T.-H. Oh, K. Grauman, and L. Torresani, "Listen to look: Action recognition by previewing audio," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2020, pp. 10457-10467.

[41] N. Dawar and N. Kehtarna vaz, "A convolutional neural network-based sensor fusion system for monitoring transition movements in healthcare applications," in 2018 IEEE 14th International Conference on Control and Automation (ICCA), pp. 482-485, 2018.

[42] H. Wei, R. Jafari, and N. Kehtarna vaz, "Fusion of video and inertial sensing for deep learning–based human action recognition," Sensors, vol. 19, no. 17, 2019.

[43] A. Gorban, H. Idrees, Y.-G. Jiang, A. Roshan Zamir, I. Laptev, M. Shah, and R. Sukthankar, "THUMOS challenge: Action recognition with a large number of classes." http://www.thumos.info/, 2015.

[44] H. Akbari, L. Yuan, R. Qian, W.-H. Chuang, S.-F. Chang, Y. Cui, and B. Gong, "Vatt: Transformers for multimodal self-supervised learning from raw video, audio and text,"in Advances in Neural Information Processing Systems, vol. 27, 2014.

[45] N. C. Garcia, P. Morerio, and V. Murino, "Modality distillation with multiple stream networks for action recognition," in Proceedings of the European Conference on Computer Vision, 2018, pp. 5832-5841.

[46] N. C. Garcia, P. Morerio, and V. Murino, "Learning with privileged information via adversarial discriminative modality distillation," IEEE transactions on pattern analysis and machine intelligence, vol. 42, no. 10, pp. 2581-2593, 2019.

[47] N. C. Garcia, S. A. Bargal, V. Abla vsky, P. Morerio, V. Murino, and S. Sclaroff, "Dmcl: Distillation multiple choice learning for multimodal action recognition," arXiv preprint arXiv:1912.10982, 2019.

[48] B. Mahasseni and S. Todorovic, "Regularizing long short term memory with 3d human-skeleton sequences for action recognition," in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 3054-3062.

[49] . Wang, C. Gao, L. Yang, Y. Zhao, W. Zuo, and D. Meng, "Pm-gans: Discriminative representation learning for action recognition using partial-modalities," in Proceedings of the European Conference on Computer Vision, 2018, pp. 384-401.

[50] Y. Liu, K. Wang, G. Li, and L. Lin, "Semantics-aware adaptive knowledge distillation for sensor-to-vision action recognition," IEEE Transactions on Image Processing, vol. 30, pp. 5573-5588, 2021.

[51] H. Alwassel, D. Mahajan, L. Torresani, B. Ghanem, and D. Tran, "Self supervised learning by cross-modal audio-video clustering," arXiv preprint arXiv:1911.12667, 2019.

[52] B. Korbar, D. Tran, and L. Torresani, "Cooperative learning of audio and video models from self-supervised synchronization," in Advances in Neural Information Processing Systems, vol. 31, 2018.

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：基于不同数据模态的人类动作识别综述研究要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题