首先,电视开机后需要15秒左右才可以使用语音及动作识别功能,其次,电视在使用某些应用程序时是不支持此功能的。
若并非您遇到的问题,建议您提供电视具体型号、详细描述遇到的问题或上传电视现状图,再通过三星数字服务平台与我们联系。
三星企业知道,为您提供优质的解决方案,用心解答您的问题,希望能够得到您的满意评价。
分享一篇来自 CVPR 2021 的文章,ACTION-Net: Multipath Excitation for Action Recognition。作者单位:都柏林圣三一大学,字节跳动 AI Lab。
论文中提出一个即插即用的混合注意力机制的 ACTION 模块用于时序动作识别 (比如手势)。该模块包含了时空注意力,信道注意力和运动注意力。
详细信息如下:
01
时空注意力 (Spatial-Temporal Excitation: STE) :通过对所有信道做一个global average pooling,能够用一个单信道的3x3x3的3D卷积得到一个单信道的时空attention map,这使得能够用非常小的计算量来得到一个时空attention map。用这个attention map再点乘输入的feature得到相对应被时空信息激发的特征。
信道注意力 (Channel Excitation: CE): 这个block是基于SE-Net的SE block。但因为视频动作中含有时序信息,所以在信道的squeeze和unsqueeze之间插入了1D在时域上的卷积来增强信道在时域上的相互依赖程度。和SE一样,可以得到一个基于信道的attention map。和STE一样,用得到的 attention map 点乘输入的feature的信道激发特征。
运动注意力 (Motion Excitation: ME): ME在之前的工作如STM和TEA都有采用。主要是描述每相邻两帧之间动作的移动,这一点和optical flow很像。采用和之前工作中的ME结构并把它作为一个分支和之前提到两个block并联得到ACTION模块。
02
ACTION模块是由以上提到的三个注意力模块并联而成。这个模块和之前的工作TSM一样,即插即用。在和state-of-the-art的方法比较中,backbone采用了和之前工作相同的ResNet-50作为比较。同时,以TSN和TSM为baseline测试了ACTION在不同backbone (ResNet-50, MobileNet V2, BN-Inception) 上的性能。
03
实验分别用了三个侧重于时序动作的视频数据集: Something-Something V2, Jester, EgoGesture 来测试提出的 ACTION 模块。
3.1Comparison to State-of-the-Art
从下表中可以看出 ACTION 在 Jester 和 EgoGesture 上面的表现还是十分优越的,都取得了 state-of-the-art 的效果。在 Something V2 的数据集上面相比较 STM 和 TEA 也取得了很相近的效果。
但值得注意的是,STM 和 TEA 都是分别针对于 ResNet 和 Res2Net 设计的,而 ACTION 是一个即插即用的模块,不会受限于 backbone 种类。据悉作者会在之后展示在 MobileNet V2 和 BN-Inception 上的效果。
3.2Ablation Studies
定义了一个效率系数来量化 ACTION 模块相对于 TSM 每提高 1% 的 Top-1 准确率所需增加的额外计算量。越低代表效率越高。下图展示了 ACTION在三个不同数据集上对于三个 backbone 的效率。可以看到 ACTION 在MobileNet V2 上的效率最为明显。类似的,在 Something-Something V2 上的效率相较于另外两个数据集要高。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)