|
meSformer 在几个难度系数比较高的动作识别基准上获得了最好的效果，包括 Kinetics-400动作识别数据集。此外，与现代3D 卷积神经网络(CNN)相比，TimeSformer 的训练速度提高了大约3倍，推理所需计算量不到原来的十分之一。这是支持需要实时或按需处理视频的应用程序的重要一步。
此外，TimeSformer具有可伸缩性，可以用来训练更长的视频剪辑中的更大模型。这使得人工智能系统可以理解视频中更复杂的人类行为，例如涉及多个原子步骤的活动(修理汽车，准备食物等)。许多需要理解复杂人类行为的人工智能应用程序都能从中获益。eSformer 与先进的3D 卷积神经网络在 Kinetics-400(左)和 Kinetics-600(右)动作识别基准上的视频分类精度。TimeSformer在两个数据集上都实现了最高的准确度。
分时空注意力
传统的视频分类模型利用3D 卷积滤波器。虽然这些滤波器在捕捉局部时空区域内的短期模式方面有效，但是它们不能对超出其接受域的时空依赖关系进行建模。
然而，TimeSformer完全建立在Transformer使用的自注意机制之上，这使得捕获整个视频的时空依赖性成为可能。
为了将Transformer应用于视频，TimeSformer将输入视频解释为从单个帧中提取的图像块的时空序列。这种格式类似于NLP中使用的格式，即Transformer将句子视为从单个单词计算出来的特征向量序列。
正如NLP Transformer通过将每个单词与句子中的所有其他单词进行比较来推断其含义一样，这一模型通过将每个patch与视频中的其他patch进行明确的比较来捕捉每个patch的语义。这使得捕获相邻patch之间的短期依赖以及远距离patch之间的长期相关成为可能。
传统的3D卷积神经网络由于需要在视频的所有时空位置上使用大量的滤波器，所以计算成本也很高。
TimeSformer 通过1)将视频分解成一小组不重叠的patch，2)应用一种自注意的形式，避免对所有patch进行详尽的比较，从而保持了较低的计算成本。我们称这种方案为「分时空注意力」。这个想法是依次应用时间注意力和空间注意力。
当应用时间注意力时，每个patch(例如，下图中蓝色正方形)仅与其他帧中同一空间位置的补丁(绿色的正方形)进行比较。如果视频包含 t 帧，则只对每个patch进行 t次时间的比较。
当应用空间注意力时，每个patch仅与同一框架内的patch(红色补丁)进行比较。因此，如果 n 是每一帧中的patch数，分时空注意力在每个patch中只能执行(t + n)次比较，而联合时空注意力穷举法则需要(t * n)次比较。此外，该研究发现分时空注意不仅比联合时空注意更有效率，而且更准确。
（编辑：吉安站长网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
