Channel and spatial attention mechanism has proven to provide an evident performance boost of deep convolution neural networks (CNNs). Most existing methods focus on one or run them parallel (series), neglecting the collaboration between the two attentions. In order to better establish the feature interaction between the two types of attention, we propose a plug-and-play attention module, which we term "CAT"-activating the Collaboration between spatial and channel Attentions based on learned Traits. Specifically, we represent traits as trainable coefficients (i.e., colla-factors) to adaptively combine contributions of different attention modules to fit different image hierarchies and tasks better. Moreover, we propose the global entropy pooling (GEP) apart from global average pooling (GAP) and global maximum pooling (GMP) operators, an effective component in suppressing noise signals by measuring the information disorder of feature maps. We introduce a three-way pooling operation into attention modules and apply the adaptive mechanism to fuse their outcomes. Extensive experiments on MS COCO, Pascal-VOC, Cifar-100, and ImageNet show that our CAT outperforms existing state-of-the-art attention mechanisms in object detection, instance segmentation, and image classification. The model and code will be released soon.

Vehicle re-identification (Re-ID) is a critical component of the autonomous driving perception system, and research in this area has accelerated in recent years. However, there is yet no perfect solution to the vehicle re-identification issue associated with the car's surround-view camera system. Our analysis identifies two significant issues in the aforementioned scenario: i) It is difficult to identify the same vehicle in many picture frames due to the unique construction of the fisheye camera. ii) The appearance of the same vehicle when seen via the surround vision system's several cameras is rather different. To overcome these issues, we suggest an integrative vehicle Re-ID solution method. On the one hand, we provide a technique for determining the consistency of the tracking box drift with respect to the target. On the other hand, we combine a Re-ID network based on the attention mechanism with spatial limitations to increase performance in situations involving multiple cameras. Finally, our approach combines state-of-the-art accuracy with real-time performance. We will soon make the source code and annotated fisheye dataset available.

Obtaining the position of ego-vehicle is a crucial prerequisite for automatic control and path planning in the field of autonomous driving. Most existing positioning systems rely on GPS, RTK, or wireless signals, which are arduous to provide effective localization under weak signal conditions. This paper proposes a real-time positioning system based on the detection of the parking numbers as they are unique positioning marks in the parking lot scene. It does not only can help with the positioning with open area, but also run independently under isolation environment. The result tested on both public datasets and self-collected dataset show that the system outperforms others in both performances and applies in practice. In addition, the code and dataset will release later.

Surround-view fisheye perception under valet parking scenes is fundamental and crucial in autonomous driving. Environmental conditions in parking lots perform differently from the common public datasets, such as imperfect light and opacity, which substantially impacts on perception performance. Most existing networks based on public datasets may generalize suboptimal results on these valet parking scenes, also affected by the fisheye distortion. In this article, we introduce a new large-scale fisheye dataset called Fisheye Parking Dataset(FPD) to promote the research in dealing with diverse real-world surround-view parking cases. Notably, our compiled FPD exhibits excellent characteristics for different surround-view perception tasks. In addition, we also propose our real-time distortion-insensitive multi-task framework Fisheye Perception Network (FPNet), which improves the surround-view fisheye BEV perception by enhancing the fisheye distortion operation and multi-task lightweight designs. Extensive experiments validate the effectiveness of our approach and the dataset's exceptional generalizability.

空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。

商业深度传感器通常会产生嘈杂和缺失的深度，尤其是在镜面和透明的对象上，这对下游深度或基于点云的任务构成了关键问题。为了减轻此问题，我们提出了一个强大的RGBD融合网络Swindrnet，以进行深度修复。我们进一步提出了域随机增强深度模拟（DREDS）方法，以使用基于物理的渲染模拟主动的立体声深度系统，并生成一个大规模合成数据集，该数据集包含130k Photorealistic RGB图像以及其模拟深度带有现实主义的传感器。为了评估深度恢复方法，我们还策划了一个现实世界中的数据集，即STD，该数据集捕获了30个混乱的场景，这些场景由50个对象组成，具有不同的材料，从透明，透明，弥漫性。实验表明，提议的DREDS数据集桥接了SIM到实地域间隙，因此，经过训练，我们的Swindrnet可以无缝地概括到其他真实的深度数据集，例如。 ClearGrasp，并以实时速度优于深度恢复的竞争方法。我们进一步表明，我们的深度恢复有效地提高了下游任务的性能，包括类别级别的姿势估计和掌握任务。我们的数据和代码可从https://github.com/pku-epic/dreds获得

最近的作品表明，深度学习模型容易受到后门中毒攻击的影响，在这些攻击中，这些攻击灌输了与外部触发模式或物体（例如贴纸，太阳镜等）的虚假相关性。我们发现这种外部触发信号是不必要的，因为可以使用基于旋转的图像转换轻松插入高效的后门。我们的方法通过旋转有限数量的对象并将其标记错误来构建中毒数据集；一旦接受过培训，受害者的模型将在运行时间推理期间做出不良的预测。它表现出明显的攻击成功率，同时通过有关图像分类和对象检测任务的全面实证研究来保持清洁绩效。此外，我们评估了标准数据增强技术和针对我们的攻击的四种不同的后门防御措施，发现它们都无法作为一致的缓解方法。正如我们在图像分类和对象检测应用程序中所示，我们的攻击只能在现实世界中轻松部署在现实世界中。总体而言，我们的工作突出了一个新的，简单的，物理上可实现的，高效的矢量，用于后门攻击。我们的视频演示可在https://youtu.be/6jif8wnx34m上找到。

实现人类水平的灵活性是机器人技术中的重要开放问题。但是，即使在婴儿级别，灵巧的手动操纵任务也是通过增强学习（RL）的挑战。困难在于高度的自由度和异质因素（例如手指关节）之间所需的合作。在这项研究中，我们提出了双人灵感手基准（BI-DEXHANDS），这是一种模拟器，涉及两只灵巧的手，其中包含数十只双人操纵任务和数千个目标对象。具体而言，根据认知科学文献，BI-DEXHANDS中的任务旨在匹配不同级别的人类运动技能。我们在ISSAC体育馆里建造了Bi-Dexhands；这可以实现高效的RL培训，仅在一个NVIDIA RTX 3090中达到30,000+ fps。我们在不同的设置下为流行的RL算法提供了全面的基准；这包括单代理/多代理RL，离线RL，多任务RL和META RL。我们的结果表明，PPO类型的上车算法可以掌握简单的操纵任务，该任务等效到48个月的人类婴儿（例如，捕获飞行的物体，打开瓶子），而多代理RL可以进一步帮助掌握掌握需要熟练的双人合作的操作（例如，举起锅，堆叠块）。尽管每个任务都取得了成功，但在获得多个操纵技能方面，现有的RL算法无法在大多数多任务和少量学习设置中工作，这需要从RL社区进行更实质性的发展。我们的项目通过https://github.com/pku-marl/dexteroushands开放。

给定一个单眼视频，在恢复静态环境时进行分割和解耦动态对象是机器智能中广泛研究的问题。现有的解决方案通常在图像域中解决此问题，从而限制其对环境的性能和理解。我们介绍了脱钩的动态神经辐射场（D $^2 $ nerf），这是一种自制的方法，采用单眼视频，并学习了一个3D场景表示，该表示将移动对象（包括它们的阴影）从静态背景中解脱出来。我们的方法通过两个单独的神经辐射场表示移动对象和静态背景，只有一个允许时间变化。这种方法的幼稚实现导致动态组件接管静态的成分，因为前者的表示本质上更一般并且容易过度拟合。为此，我们提出了一种新颖的损失，以促进现象的正确分离。我们进一步提出了一个阴影场网络，以检测和解除动态移动的阴影。我们介绍了一个新的数据集，其中包含各种动态对象和阴影，并证明我们的方法可以在解耦动态和静态3D对象，遮挡和阴影删除以及移动对象的图像分段中获得比最新方法更好的性能。

政策优化方法是使用最广泛使用的加固学习（RL）算法之一。然而，对这些方法的理论理解仍然不足。即使在eoisodic（时代）的表格设置中，\ citet的基于政策方法的最先进的理论结果也是只需$ \ tilde {o}（\ sqrt {s ^ 2ah ^ 4k }）$何地在$ S $是州的数量，$ a $是行动的数量，$ h $是地平线，而$ k $是剧集的数量，还有$ \ sqrt {sh} $与信息理论下限$ \ tilde {\ omega}相比，差距（\ sqrt {sah ^ 3k}）$。为了弥合这样的差距，我们提出了一种新的算法基于参考的基于参考的策略优化，在任何时间保证（\ AlgnameAcro），它具有“随时稳定”的特征。我们证明我们的算法实现$ \ tilde {o}（\ sqrt {sah ^ 3k} + \ sqrt {ah ^ 4}）$后悔。当$ s> h $时，我们的算法在忽略对数因子时最佳最佳。为了我们的最佳知识，RPO-SAT是第一次计算上高效，几乎最小的表格RL最佳策略算法。