本文介绍了一场组织的结果，以评估3D手姿势序列中异质手势的在线识别方法的方法。任务是检测属于以不同姿势和运动特征为特征的16个类词典的手势。该数据集具有手跟踪数据的连续序列，其中手势与不显着的动作交织在一起。在现实的混合现实交互用例中，使用HoloLens 2手指跟踪系统捕获了数据。评估不仅基于检测性能，还基于延迟和误报，使您可以根据提出的算法了解实际交互工具的可行性。比赛评估的结果表明需要进一步研究以减少识别错误，而所提出的算法的计算成本足够低。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

我们提出了一条多阶段管道，用于简单的手势识别。我们方法的新颖性是不同技术的关联，截至目前，第一个实时系统可以共同提取骨骼并在胡椒机器人上识别手势。为此，Pepper用嵌入式GPU进行了增强，用于运行Deep CNN和鱼眼相机，以捕捉整个场景的互动。我们在本文中表明，实际场景具有挑战性，而最先进的方法几乎不涉及未知的人类手势。我们在这里提出一种处理此类案件的方法。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

由于价格合理的可穿戴摄像头和大型注释数据集的可用性，在过去几年中，Egintric Vision（又名第一人称视觉-FPV）的应用程序在过去几年中蓬勃发展。可穿戴摄像机的位置（通常安装在头部上）允许准确记录摄像头佩戴者在其前面的摄像头，尤其是手和操纵物体。这种内在的优势可以从多个角度研究手：将手及其部分定位在图像中；了解双手涉及哪些行动和活动；并开发依靠手势的人类计算机界面。在这项调查中，我们回顾了使用以自我为中心的愿景专注于手的文献，将现有方法分类为：本地化（其中的手或部分在哪里？）；解释（手在做什么？）；和应用程序（例如，使用以上为中心的手提示解决特定问题的系统）。此外，还提供了带有手基注释的最突出的数据集的列表。

Unhealthy dietary habits are considered as the primary cause of multiple chronic diseases such as obesity and diabetes. The automatic food intake monitoring system has the potential to improve the quality of life (QoF) of people with dietary related diseases through dietary assessment. In this work, we propose a novel contact-less radar-based food intake monitoring approach. Specifically, a Frequency Modulated Continuous Wave (FMCW) radar sensor is employed to recognize fine-grained eating and drinking gestures. The fine-grained eating/drinking gesture contains a series of movement from raising the hand to the mouth until putting away the hand from the mouth. A 3D temporal convolutional network (3D-TCN) is developed to detect and segment eating and drinking gestures in meal sessions by processing the Range-Doppler Cube (RD Cube). Unlike previous radar-based research, this work collects data in continuous meal sessions. We create a public dataset that contains 48 meal sessions (3121 eating gestures and 608 drinking gestures) from 48 participants with a total duration of 783 minutes. Four eating styles (fork & knife, chopsticks, spoon, hand) are included in this dataset. To validate the performance of the proposed approach, 8-fold cross validation method is applied. Experimental results show that our proposed 3D-TCN outperforms the model that combines a convolutional neural network and a long-short-term-memory network (CNN-LSTM), and also the CNN-Bidirectional LSTM model (CNN-BiLSTM) in eating and drinking gesture detection. The 3D-TCN model achieves a segmental F1-score of 0.887 and 0.844 for eating and drinking gestures, respectively. The results of the proposed approach indicate the feasibility of using radar for fine-grained eating and drinking gesture detection and segmentation in meal sessions.

对人类对象相互作用的理解在第一人称愿景（FPV）中至关重要。遵循相机佩戴者操纵的对象的视觉跟踪算法可以提供有效的信息，以有效地建模此类相互作用。在过去的几年中，计算机视觉社区已大大提高了各种目标对象和场景的跟踪算法的性能。尽管以前有几次尝试在FPV域中利用跟踪器，但仍缺少对最先进跟踪器的性能的有条理分析。这项研究差距提出了一个问题，即应使用当前的解决方案``现成''还是应进行更多特定领域的研究。本文旨在为此类问题提供答案。我们介绍了FPV中单个对象跟踪的首次系统研究。我们的研究广泛分析了42个算法的性能，包括通用对象跟踪器和基线FPV特定跟踪器。分析是通过关注FPV设置的不同方面，引入新的绩效指标以及与FPV特定任务有关的。这项研究是通过引入Trek-150（由150个密集注释的视频序列组成的新型基准数据集）来实现的。我们的结果表明，FPV中的对象跟踪对当前的视觉跟踪器构成了新的挑战。我们强调了导致这种行为的因素，并指出了可能的研究方向。尽管遇到了困难，但我们证明了跟踪器为需要短期对象跟踪的FPV下游任务带来好处。我们预计，随着新的和FPV特定的方法学会得到研究，通用对象跟踪将在FPV中受欢迎。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

肢体语言是一种引人注目的社交信号，其自动分析可以大大提高人工智能系统，以理解和积极参与社交互动。尽管计算机视觉在诸如头部和身体姿势估计之类的低级任务中取得了令人印象深刻的进步，但探索诸如示意，修饰或摸索之类的更微妙行为的发现尚未得到很好的探索。在本文中，我们介绍了BBSI，这是复杂的身体行为的第一组注释，嵌入了小组环境中的连续社交互动中。根据心理学的先前工作，我们在MpiigroupContraction数据集中手动注释了26个小时的自发人类行为，并具有15种不同的肢体语言类别。我们介绍了所得数据集的全面描述性统计数据以及注释质量评估的结果。为了自动检测这些行为，我们适应了金字塔扩张的注意网络（PDAN），这是一种最新的人类动作检测方法。我们使用四个空间特征的四种变体作为PDAN的输入进行实验：两流膨胀的3D CNN，颞段网络，时间移位模块和SWIN变压器。结果是有希望的，这表明了这项艰巨的任务改进的好空间。 BBSI代表了自动理解社会行为的难题中的关键作品，研究界完全可以使用。

基于自我注意力的变压器模型已显示出令人印象深刻的图像分类和对象检测结果，并且最近用于视频理解。受此成功的启发，我们研究了变压器网络在视频中的时间动作本地化的应用。为此，我们提出了ActionFormer，这是一个简单而强大的模型，可在不使用动作建议或依靠预定义的锚点窗口中识别其及时识别其类别并识别其类别。 ActionFormer将多尺度特征表示与局部自我发作相结合，并使用轻加权解码器对每个时刻进行分类并估算相应的动作边界。我们表明，这种精心策划的设计会在先前的工作中进行重大改进。如果没有铃铛和口哨声，ActionFormer在Thumos14上的TIOU = 0.5的地图达到了71.0％的地图，表现优于最佳先前模型的绝对百分比14.1。此外，ActionFormer在ActivityNet 1.3（平均地图36.6％）和Epic-Kitchens 100（+先前工作的平均地图+13.5％）上显示出很强的结果。我们的代码可从http://github.com/happyharrycn/actionformer_release获得。

我们介绍了在视频中发现时间精确，细粒度事件的任务（检测到时间事件的精确时刻）。精确的斑点需要模型在全球范围内对全日制动作规模进行推理，并在本地识别微妙的框架外观和运动差异，以识别这些动作过程中事件的识别。令人惊讶的是，我们发现，最高的绩效解决方案可用于先前的视频理解任务，例如操作检测和细分，不能同时满足这两个要求。作为响应，我们提出了E2E点，这是一种紧凑的端到端模型，在精确的发现任务上表现良好，可以在单个GPU上快速培训。我们证明，E2E点的表现明显优于最近根据视频动作检测，细分和将文献发现到精确的发现任务的基线。最后，我们为几个细粒度的运动动作数据集贡献了新的注释和分裂，以使这些数据集适用于未来的精确发现工作。

长期人体运动预测对于安全关键应用是必不可少的，例如人机互动和自主驾驶。在本文中，我们展示了实现长期预测，预测每次瞬间的人类姿势是不必要的。相反，通过线性地插入键盘来预测几个小折叠和近似中间组更有效。我们将证明我们的方法使我们能够在未来预测最多5秒的现实运动，远远大于文献中遇到的典型1秒。此外，由于我们模拟了未来的重叠概率，因此我们可以通过在推理时间采样来产生多种合理的未来动作。在这个延长的时间内，我们的预测更加现实，更多样化，更好地保护运动动力学而不是那些最先进的方法产量。

基于纯粹关注的深度神经网络在几个领域中取得了成功，依赖于设计师的最小建筑前瞻性。在人类行动识别（HAR）中，主要是在标准卷积或复发层的顶部采用注意机制，从而提高了整体泛化能力。在这项工作中，我们介绍了动作变压器（ACT），这是一种简单的完全自我注意的架构，可以始终如一地优于混合卷积，复发和周度的更详细的网络。为了限制计算和能量请求，建立以前的人类行动识别研究，所提出的方法利用小型时间窗口的2D姿势表示，为准确且有效的实时性能提供低延迟解决方案。此外，我们开源MOMES2021是一个新的大规模数据集，作为建立正式培训和评估基准的实时短时哈哈。拟议的方法在MOMY2021上广泛测试，并与几个最先进的架构相比，证明了行为模型的有效性并铺设了未来工作的基础。

可穿戴摄像机可以从用户的角度获取图像和视频。可以处理这些数据以了解人类的行为。尽管人类的行为分析已在第三人称视野中进行了彻底的研究，但仍在以自我为中心的环境中，尤其是在工业场景中进行了研究。为了鼓励在该领域的研究，我们介绍了Meccano，这是一个以自我为中心视频的多式模式数据集来研究类似工业的环境中的人类行为理解。多模式的特征是凝视信号，深度图和RGB视频同时使用自定义耳机获得。该数据集已在从第一人称视角的人类行为理解的背景下明确标记为基本任务，例如识别和预测人类对象的相互作用。使用MECCANO数据集，我们探索了五个不同的任务，包括1）动作识别，2）活动对象检测和识别，3）以自我为中心的人类对象互动检测，4）动作预期和5）下一步活动对象检测。我们提出了一个旨在研究人类行为的基准，该基准在被考虑的类似工业的情况下，表明所研究的任务和所考虑的方案对于最先进的算法具有挑战性。为了支持该领域的研究，我们在https://iplab.dmi.unict.it/meccano/上公开发布数据集。

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

To balance the annotation labor and the granularity of supervision, single-frame annotation has been introduced in temporal action localization. It provides a rough temporal location for an action but implicitly overstates the supervision from the annotated-frame during training, leading to the confusion between actions and backgrounds, i.e., action incompleteness and background false positives. To tackle the two challenges, in this work, we present the Snippet Classification model and the Dilation-Erosion module. In the Dilation-Erosion module, we expand the potential action segments with a loose criterion to alleviate the problem of action incompleteness and then remove the background from the potential action segments to alleviate the problem of action incompleteness. Relying on the single-frame annotation and the output of the snippet classification, the Dilation-Erosion module mines pseudo snippet-level ground-truth, hard backgrounds and evident backgrounds, which in turn further trains the Snippet Classification model. It forms a cyclic dependency. Furthermore, we propose a new embedding loss to aggregate the features of action instances with the same label and separate the features of actions from backgrounds. Experiments on THUMOS14 and ActivityNet 1.2 validate the effectiveness of the proposed method. Code has been made publicly available (https://github.com/LingJun123/single-frame-TAL).

We address temporal action localization in untrimmed long videos. This is important because videos in real applications are usually unconstrained and contain multiple action instances plus video content of background scenes or other activities. To address this challenging issue, we exploit the effectiveness of deep networks in temporal action localization via three segment-based 3D ConvNets: (1) a proposal network identifies candidate segments in a long video that may contain actions; (2) a classification network learns one-vs-all action classification model to serve as initialization for the localization network; and (3) a localization network fine-tunes the learned classification network to localize each action instance. We propose a novel loss function for the localization network to explicitly consider temporal overlap and achieve high temporal localization accuracy. In the end, only the proposal network and the localization network are used during prediction. On two largescale benchmarks, our approach achieves significantly superior performances compared with other state-of-the-art systems: mAP increases from 1.7% to 7.4% on MEXaction2 and increases from 15.0% to 19.0% on THUMOS 2014.

可穿戴设备，不断收集用户的各种传感器数据，增加了无意和敏感信息的推论的机会，例如在物理键盘上键入的密码。我们彻底看看使用电拍摄（EMG）数据的潜力，这是一个新的传感器模式，这是市场新的，但最近在可穿戴物的上下文中受到关注，用于增强现实（AR），用于键盘侧通道攻击。我们的方法是基于使用Myo Armband收集传感器数据的逼真场景中对象攻击之间的神经网络。在我们的方法中，与加速度计和陀螺相比，EMG数据被证明是最突出的信息来源，增加了击键检测性能。对于我们对原始数据的端到端方法，我们报告了击键检测的平均平衡准确性，击键检测的平均高度高精度为52级，为不同优势密码的密钥识别约32％ 。我们创建了一个广泛的数据集，包括从37个志愿者录制的310 000次击键，它可作为开放式访问，以及用于创建给定结果的源代码。

本文解决了人类运动预测的问题，包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能，但当前的最新方法依赖于任意复杂性的深度学习体系结构，例如经常性神经网络〜（RNN），变压器或图形卷积网络〜（GCN），通常需要多个培训阶段，等等。超过300万参数。在本文中，我们表明，这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越，并且与几种标准实践（例如用离散的余弦变换代表身体姿势（DCT））相结合时，只有0.14亿个参数，预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估，Amass和3DPW数据集表明，我们的方法（我们将其配置为Simlpe）始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准，并允许重新考虑人类运动预测的问题，以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。