Adversarial attacks can easily fool object recognition systems based on deep neural networks (DNNs). Although many defense methods have been proposed in recent years, most of them can still be adaptively evaded. One reason for the weak adversarial robustness may be that DNNs are only supervised by category labels and do not have part-based inductive bias like the recognition process of humans. Inspired by a well-known theory in cognitive psychology -- recognition-by-components, we propose a novel object recognition model ROCK (Recognizing Object by Components with human prior Knowledge). It first segments parts of objects from images, then scores part segmentation results with predefined human prior knowledge, and finally outputs prediction based on the scores. The first stage of ROCK corresponds to the process of decomposing objects into parts in human vision. The second stage corresponds to the decision process of the human brain. ROCK shows better robustness than classical recognition models across various attack settings. These results encourage researchers to rethink the rationality of currently widely-used DNN-based object recognition models and explore the potential of part-based models, once important but recently ignored, for improving robustness.

Recently, unsupervised learning has made impressive progress on various tasks. Despite the dominance of discriminative models, increasing attention is drawn to representations learned by generative models and in particular, Generative Adversarial Networks (GANs). Previous works on the interpretation of GANs reveal that GANs encode semantics in feature maps in a linearly separable form. In this work, we further find that GAN's features can be well clustered with the linear separability assumption. We propose a novel clustering algorithm, named KLiSH, which leverages the linear separability to cluster GAN's features. KLiSH succeeds in extracting fine-grained semantics of GANs trained on datasets of various objects, e.g., car, portrait, animals, and so on. With KLiSH, we can sample images from GANs along with their segmentation masks and synthesize paired image-segmentation datasets. Using the synthesized datasets, we enable two downstream applications. First, we train semantic segmentation networks on these datasets and test them on real images, realizing unsupervised semantic segmentation. Second, we train image-to-image translation networks on the synthesized datasets, enabling semantic-conditional image synthesis without human annotations.

We explore the capability of plain Vision Transformers (ViTs) for semantic segmentation and propose the SegVit. Previous ViT-based segmentation networks usually learn a pixel-level representation from the output of the ViT. Differently, we make use of the fundamental component -- attention mechanism, to generate masks for semantic segmentation. Specifically, we propose the Attention-to-Mask (ATM) module, in which the similarity maps between a set of learnable class tokens and the spatial feature maps are transferred to the segmentation masks. Experiments show that our proposed SegVit using the ATM module outperforms its counterparts using the plain ViT backbone on the ADE20K dataset and achieves new state-of-the-art performance on COCO-Stuff-10K and PASCAL-Context datasets. Furthermore, to reduce the computational cost of the ViT backbone, we propose query-based down-sampling (QD) and query-based up-sampling (QU) to build a Shrunk structure. With the proposed Shrunk structure, the model can save up to $40\%$ computations while maintaining competitive performance.

多年来，Yolo系列一直是有效对象检测的事实上的行业级别标准。尤洛社区（Yolo Community）绝大多数繁荣，以丰富其在众多硬件平台和丰富场景中的使用。在这份技术报告中，我们努力将其限制推向新的水平，以坚定不移的行业应用心态前进。考虑到对真实环境中速度和准确性的多种要求，我们广泛研究了行业或学术界的最新对象检测进步。具体而言，我们从最近的网络设计，培训策略，测试技术，量化和优化方法中大量吸收了思想。最重要的是，我们整合了思想和实践，以在各种规模上建立一套可供部署的网络，以适应多元化的用例。在Yolo作者的慷慨许可下，我们将其命名为Yolov6。我们还向用户和贡献者表示热烈欢迎，以进一步增强。为了了解性能，我们的Yolov6-N在NVIDIA TESLA T4 GPU上以1234 fps的吞吐量在可可数据集上击中35.9％的AP。 Yolov6-S在495 fps处的43.5％AP罢工，在相同规模〜（Yolov5-S，Yolox-S和Ppyoloe-S）上超过其他主流探测器。我们的量化版本的Yolov6-S甚至在869 fps中带来了新的43.3％AP。此外，与其他推理速度相似的检测器相比，Yolov6-m/L的精度性能（即49.5％/52.3％）更好。我们仔细进行了实验以验证每个组件的有效性。我们的代码可在https://github.com/meituan/yolov6上提供。

在本文中，我们提出了一种新颖的注释和评估方案，以进行视觉识别。与传统设置不同，该协议不需要标签/算法就可以立即注释/识别所有目标（对象，零件等），而是提出了许多识别说明，并且该算法通过请求识别目标。这种机制带来了两种有益的特性来减轻注释负担，即（i）可变粒度：不同的情况可以具有不同级别的注释，尤其是对象部分只能在大而清晰的实例中标记，（ii）被打开（ii） - 域：可以将新概念以最低的成本添加到数据库中。为了处理提出的设置，我们维护知识库并设计一个基于查询的视觉识别框架，该框架可以根据请求直接构建查询。我们在两个混合注销的数据集（CPP和ADE20K）上评估了识别系统，并演示了其从部分标记的数据中学习的有希望的能力，以及仅使用文本标签来适应新概念。

昂贵注释的要求是培训良好的实例细分模型的重大负担。在本文中，我们提出了一个经济活跃的学习环境，称为主动监督实例细分（API），该实例分段（API）从框级注释开始，并迭代地在盒子内划分一个点，并询问它是否属于对象。API的关键是找到最大程度地提高分段准确性的最佳点，以有限的注释预算。我们制定此设置，并提出几种基于不确定性的抽样策略。与其他学习策略相比，使用这些策略开发的模型可以在具有挑战性的MS-Coco数据集上获得一致的性能增长。结果表明，API集成了主动学习和基于点的监督的优势，是标签有效实例分割的有效学习范式。

我们的面部皮肤呈现出细微的色彩变化，称为远程光绘画（RPPG）信号，我们可以从中提取受试者的心率。最近，提出了许多有关RPPG信号提取的深度学习方法和相关数据集。但是，由于耗时血液流过我们的身体和其他因素，标签波（例如BVP信号）在某些数据集中具有实际RPPG信号的不确定延迟，这导致难以训练网络的训练，这些网络直接预测了RPPG波。在本文中，通过分析RPPG信号和标签波的节奏和周期性的共同特征，我们提出了一组包裹这些网络的训练方法，以便在在数据集中频繁地延迟数据的情况下进行训练时可以保持有效的效率。与其他无延迟RPPG提取方法相比，获得更精确和健壮的心率预测结果。

如今，配备了AI系统的摄像机可以捕获和分析图像以自动检测人员。但是，当在现实世界（即物理对抗示例）中收到故意设计的模式时，AI系统可能会犯错误。先前的作品表明，可以在衣服上打印对抗斑块，以逃避基于DNN的人探测器。但是，当视角（即相机与物体的角度）变化时，这些对抗性示例可能会在攻击成功率中造成灾难性下降。要执行多角度攻击，我们提出了对抗纹理（Advexture）。 advtexture可以用任意形状覆盖衣服，以便穿着这样的衣服的人可以从不同的视角躲避人探测器。我们提出了一种生成方法，称为基于环形作用的可扩展生成攻击（TC-EGA），以用重复的结构来制作advexture。我们用advexure印刷了几块布，然后在物理世界中制作了T恤，裙子和连衣裙。实验表明，这些衣服可以欺骗物理世界中的人探测器。

最近建议的MaskFormer \ Cite {MaskFormer}对语义分割的任务提供了刷新的透视图：它从流行的像素级分类范例转移到蒙版级分类方法。实质上，它生成对应于类别段的配对概率和掩码，并在推理的分割映射期间结合它们。因此，分割质量依赖于查询如何捕获类别的语义信息及其空间位置。在我们的研究中，我们发现单尺度特征顶部的每个掩模分类解码器不足以提取可靠的概率或掩模。对于挖掘功能金字塔的丰富语义信息，我们提出了一个基于变压器的金字塔融合变压器（PFT），用于多尺度特征顶部的每个掩模方法语义分段。为了有效地利用不同分辨率的图像特征而不会产生过多的计算开销，PFT使用多尺度变压器解码器，具有跨尺度间间的关注来交换互补信息。广泛的实验评估和消融展示了我们框架的功效。特别是，与屏蔽Former相比，我们通过Reset-101c实现了3.2 miou改进了Reset-101c。此外，在ADE20K验证集上，我们的Swin-B骨架的结果与单尺度和多尺寸推断的屏蔽骨架中的较大的Swin-L骨架相匹配，分别实现54.1 miou和55.3 miou。使用Swin-L骨干，我们在ADE20K验证集中实现了56.0 Miou单尺度结果和57.2多尺度结果，从而获得数据集的最先进的性能。

自动驾驶技术的加速开发对获得大量高质量数据的需求更大。标签，现实世界数据代表性是培训深度学习网络的燃料，对于改善自动驾驶感知算法至关重要。在本文中，我们介绍了PANDASET，由完整的高精度自动车辆传感器套件生产的第一个数据集，具有无需成本商业许可证。使用一个360 {\ DEG}机械纺丝利达，一个前置，远程LIDAR和6个摄像机收集数据集。DataSet包含100多个场景，每个场景为8秒，为目标分类提供28种类型的标签和37种类型的语义分割标签。我们提供仅限LIDAR 3D对象检测的基线，LIDAR-Camera Fusion 3D对象检测和LIDAR点云分割。有关Pandaset和开发套件的更多详细信息，请参阅https://scale.com/open-datasets/pandaset。