现代物体检测网络追求一般物体检测数据集的更高精度，同时计算负担也随着精度的提高而越来越多。然而，推理时间和精度对于需要是实时的对象检测系统至关重要。没有额外的计算成本，有必要研究精度改进。在这项工作中，提出了两种模块以提高零成本的检测精度，这是一般对象检测网络的FPN和检测头改进。我们采用规模注意机制，以有效地保险熔断多级功能映射，参数较少，称为SA-FPN模块。考虑到分类头和回归头的相关性，我们使用顺序头取代广泛使用的并联头部，称为SEQ-Head模块。为了评估有效性，我们将这两个模块应用于一些现代最先进的对象检测网络，包括基于锚和无锚。 Coco DataSet上的实验结果表明，具有两个模块的网络可以将原始网络超越1.1 AP和0.8 AP，分别为锚的锚和无锚网络的零成本。代码将在https://git.io/jtfgl提供。

由于卷积在提取物体的局部上下文中，在过去十年中，对象检测在过去十年中取得了重大进展。但是，对象的尺度是多样的，当前卷积只能处理单尺度输入。因此，传统卷积具有固定接收场在处理这种规模差异问题方面的能力受到限制。多尺度功能表示已被证明是缓解规模差异问题的有效方法。最近的研究主要与某些量表或各个尺度的总体特征采用部分联系，并专注于整个量表的全球信息。但是，跨空间和深度维度的信息被忽略了。受此启发，我们提出了多尺度卷积（MSCONV）来解决此问题。同时考虑到量表，空间和深度信息，MSCONV能够更全面地处理多尺度输入。 MSCONV是有效的，并且在计算上是有效的，只有少量计算成本增加。对于大多数单阶段对象探测器，在检测头中用MSCONV代替传统的卷积可以带来AP的2.5 \％改进（在Coco 2017数据集上），只有3 \％的拖鞋增加了。 MSCONV对于两阶段对象探测器也具有灵活性和有效性。当扩展到主流两阶段对象检测器时，MSCONV的AP可以提高3.0 \％。我们在单尺度测试下的最佳模型在Coco 2017上实现了48.9 \％AP，\ textit {test-dev} Split，它超过了许多最新方法。

本文提出了平行残留的双融合特征金字塔网络（PRB-FPN），以快速准确地单光对象检测。特征金字塔（FP）在最近的视觉检测中被广泛使用，但是由于汇总转换，FP的自上而下的途径无法保留准确的定位。随着使用更多层的更深骨干，FP的优势被削弱了。此外，它不能同时准确地检测到小物体。为了解决这些问题，我们提出了一种新的并行FP结构，具有双向（自上而下和自下而上）的融合以及相关的改进，以保留高质量的特征以进行准确定位。我们提供以下设计改进：（1）具有自下而上的融合模块（BFM）的平行分歧FP结构，以高精度立即检测小物体和大对象。 （2）串联和重组（CORE）模块为特征融合提供了自下而上的途径，该途径导致双向融合FP，可以从低层特征图中恢复丢失的信息。 （3）进一步纯化核心功能以保留更丰富的上下文信息。自上而下和自下而上的途径中的这种核心净化只能在几次迭代中完成。 （4）将残留设计添加到核心中，导致了一个新的重核模块，该模块可以轻松训练和集成，并具有更深入或更轻的骨架。所提出的网络可在UAVDT17和MS COCO数据集上实现最新性能。代码可在https://github.com/pingyang1117/prbnet_pytorch上找到。

锥体网络是多尺度对象检测的标准方法。当前对特征金字塔网络的研究通常采用层连接来从特征层次结构的某些级别收集特征，并且不考虑它们之间的显着差异。我们提出了一个更好的特征金字塔网络的体系结构，称为选择性多尺度学习（SMSL），以解决此问题。SMSL高效且泛滥，可以将其集成到单阶段和两阶段检测器中以提高检测性能，几乎没有额外的推理成本。视网膜与SMSL的结合获得了可可数据集的AP（从39.1 \％到40.9 \％）的1.8 \％改进。与SMSL集成时，两阶段探测器的AP可以提高1.0 \％。

In this report, we present a fast and accurate object detection method dubbed DAMO-YOLO, which achieves higher performance than the state-of-the-art YOLO series. DAMO-YOLO is extended from YOLO with some new technologies, including Neural Architecture Search (NAS), efficient Reparameterized Generalized-FPN (RepGFPN), a lightweight head with AlignedOTA label assignment, and distillation enhancement. In particular, we use MAE-NAS, a method guided by the principle of maximum entropy, to search our detection backbone under the constraints of low latency and high performance, producing ResNet-like / CSP-like structures with spatial pyramid pooling and focus modules. In the design of necks and heads, we follow the rule of "large neck, small head". We import Generalized-FPN with accelerated queen-fusion to build the detector neck and upgrade its CSPNet with efficient layer aggregation networks (ELAN) and reparameterization. Then we investigate how detector head size affects detection performance and find that a heavy neck with only one task projection layer would yield better results. In addition, AlignedOTA is proposed to solve the misalignment problem in label assignment. And a distillation schema is introduced to improve performance to a higher level. Based on these new techs, we build a suite of models at various scales to meet the needs of different scenarios, i.e., DAMO-YOLO-Tiny/Small/Medium. They can achieve 43.0/46.8/50.0 mAPs on COCO with the latency of 2.78/3.83/5.62 ms on T4 GPUs respectively. The code is available at https://github.com/tinyvision/damo-yolo.

特征金字塔网络（FPN）已成为对象检测模型考虑对象的各种尺度的重要模块。但是，小物体上的平均精度（AP）相对低于中和大物体上的AP。原因是CNN较深层导致信息丢失作为特征提取水平的原因。我们提出了一个新的比例顺序（S^2）特征FPN的特征提取，以增强小物体的特征信息。我们将FPN结构视为尺度空间和提取尺度序列（s^2）特征，该特征是在FPN的水平轴上通过3D卷积。它基本上是扩展不变的功能，并建立在小物体的高分辨率金字塔功能图上。此外，建议的S^2功能可以扩展到基于FPN的大多数对象检测模型。我们证明所提出的S2功能可以提高COCO数据集中一阶段和两阶段探测器的性能。根据提出的S2功能，我们分别为Yolov4-P5和Yolov4-P6获得了高达1.3％和1.1％的AP改善。对于更快的RCNN和Mask R-CNN，我们分别观察到AP改进的2.0％和1.6％，分别具有建议的S^2功能。

现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要，但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型，以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说，我们提出了一个名为“比例吸引的条带引导特征金字塔网络”（s \ textsuperscript {2} -fpn）的轻巧模型。我们的网络由三个主要模块组成：注意金字塔融合（APF）模块，比例吸引条带注意模块（SSAM）和全局特征Upsample（GFU）模块。 APF采用了注意力机制来学习判别性多尺度特征，并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文，并建模长期依赖性，这有助于将像素与类似的语义标签相关联。此外，APF还采用频道重新加权块（CRB）来强调频道功能。最后，S \ TextSuperScript {2} -fpn的解码器然后采用GFU，该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验，这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \％miou/87.3fps，77.4 \％miou/67fps和77.8 \％miou/30.5fps，以及69.6 \％miou，71.0 miou，71.0 \％miou，和74.2 \％\％\％\％\％\％。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。

特征金字塔网络（FPN）是对象检测器的关键组件之一。但是，对于研究人员来说，长期存在的难题是，引入FPN后通常会抑制大规模物体的检测性能。为此，本文首先在检测框架中重新审视FPN，并从优化的角度揭示了FPN成功的性质。然后，我们指出，大规模对象的性能退化是由于集成FPN后出现不当后传播路径所致。它使每个骨干网络的每个级别都只能查看一定尺度范围内的对象。基于这些分析，提出了两种可行的策略，以使每个级别的级别能够查看基于FPN的检测框架中的所有对象。具体而言，一个是引入辅助目标功能，以使每个骨干级在训练过程中直接接收各种尺度对象的后传播信号。另一个是以更合理的方式构建特征金字塔，以避免非理性的背部传播路径。对可可基准测试的广泛实验验证了我们的分析的健全性和方法的有效性。没有铃铛和口哨，我们证明了我们的方法在各种检测框架上实现了可靠的改进（超过2％）：一阶段，两阶段，基于锚的，无锚和变压器的检测器。

视觉变压器（VIT）正在改变对象检测方法的景观。 VIT的自然使用方法是用基于变压器的骨干替换基于CNN的骨干，该主链很简单有效，其价格为推理带来了可观的计算负担。更微妙的用法是DEDR家族，它消除了对物体检测中许多手工设计的组件的需求，但引入了一个解码器，要求超长时间进行融合。结果，基于变压器的对象检测不能在大规模应用中占上风。为了克服这些问题，我们提出了一种新型的无解码器基于完全变压器（DFFT）对象检测器，这是第一次在训练和推理阶段达到高效率。我们通过居中两个切入点来简化反对检测到仅编码单级锚点的密集预测问题：1）消除训练感知的解码器，并利用两个强的编码器来保留单层特征映射预测的准确性； 2）探索具有有限的计算资源的检测任务的低级语义特征。特别是，我们设计了一种新型的轻巧的面向检测的变压器主链，该主链有效地捕获了基于良好的消融研究的丰富语义的低级特征。 MS Coco基准测试的广泛实验表明，DFFT_SMALL的表现优于2.5％AP，计算成本降低28％，$ 10 \ $ 10 \乘以$ 10 \乘以$较少的培训时期。与尖端的基于锚的探测器视网膜相比，DFFT_SMALL获得了超过5.5％的AP增益，同时降低了70％的计算成本。

Feature pyramids are a basic component in recognition systems for detecting objects at different scales. But recent deep learning object detectors have avoided pyramid representations, in part because they are compute and memory intensive. In this paper, we exploit the inherent multi-scale, pyramidal hierarchy of deep convolutional networks to construct feature pyramids with marginal extra cost. A topdown architecture with lateral connections is developed for building high-level semantic feature maps at all scales. This architecture, called a Feature Pyramid Network (FPN), shows significant improvement as a generic feature extractor in several applications. Using FPN in a basic Faster R-CNN system, our method achieves state-of-the-art singlemodel results on the COCO detection benchmark without bells and whistles, surpassing all existing single-model entries including those from the COCO 2016 challenge winners. In addition, our method can run at 6 FPS on a GPU and thus is a practical and accurate solution to multi-scale object detection. Code will be made publicly available.

In recent years, object detection has achieved a very large performance improvement, but the detection result of small objects is still not very satisfactory. This work proposes a strategy based on feature fusion and dilated convolution that employs dilated convolution to broaden the receptive field of feature maps at various scales in order to address this issue. On the one hand, it can improve the detection accuracy of larger objects. On the other hand, it provides more contextual information for small objects, which is beneficial to improving the detection accuracy of small objects. The shallow semantic information of small objects is obtained by filtering out the noise in the feature map, and the feature information of more small objects is preserved by using multi-scale fusion feature module and attention mechanism. The fusion of these shallow feature information and deep semantic information can generate richer feature maps for small object detection. Experiments show that this method can have higher accuracy than the traditional YOLOv3 network in the detection of small objects and occluded objects. In addition, we achieve 32.8\% Mean Average Precision on the detection of small objects on MS COCO2017 test set. For 640*640 input, this method has 88.76\% mAP on the PASCAL VOC2012 dataset.

无人驾驶飞机（UAV）的实时对象检测是一个具有挑战性的问题，因为Edge GPU设备作为物联网（IoT）节点的计算资源有限。为了解决这个问题，在本文中，我们提出了一种基于Yolox模型的新型轻型深度学习体系结构，用于Edge GPU上的实时对象检测。首先，我们设计了一个有效且轻巧的PixSF头，以更换Yolox的原始头部以更好地检测小物体，可以将其进一步嵌入深度可分离的卷积（DS Conv）中，以达到更轻的头。然后，开发为减少网络参数的颈层中的较小结构，这是精度和速度之间的权衡。此外，我们将注意模块嵌入头层中，以改善预测头的特征提取效果。同时，我们还改进了标签分配策略和损失功能，以减轻UAV数据集的类别不平衡和盒子优化问题。最后，提出了辅助头进行在线蒸馏，以提高PIXSF Head中嵌入位置嵌入和特征提取的能力。在NVIDIA Jetson NX和Jetson Nano GPU嵌入平台上，我们的轻质模型的性能得到了实验验证。扩展的实验表明，与目前的模型相比，Fasterx模型在Visdrone2021数据集中实现了更好的折衷和延迟之间的折衷。

The way that information propagates in neural networks is of great importance. In this paper, we propose Path Aggregation Network (PANet) aiming at boosting information flow in proposal-based instance segmentation framework. Specifically, we enhance the entire feature hierarchy with accurate localization signals in lower layers by bottom-up path augmentation, which shortens the information path between lower layers and topmost feature. We present adaptive feature pooling, which links feature grid and all feature levels to make useful information in each feature level propagate directly to following proposal subnetworks. A complementary branch capturing different views for each proposal is created to further improve mask prediction.These improvements are simple to implement, with subtle extra computational overhead. Our PANet reaches the 1 st place in the COCO 2017 Challenge Instance Segmentation task and the 2 nd place in Object Detection task without large-batch training. It is also state-of-the-art on MVD and Cityscapes. Code is available at https://github. com/ShuLiu1993/PANet.

在传统的对象检测框架中，从图像识别模型继承的骨干体提取了深层特征，然后颈部模块融合了这些潜在特征，以在不同的尺度上捕获信息。由于对象检测的分辨率比图像识别大得多，因此骨干的计算成本通常主导了总推断成本。这种沉重的背部设计范式主要是由于历史遗产将图像识别模型传输到对象检测时，而不是端到端的优化设计以进行对象检测。在这项工作中，我们表明这种范式确实导致了亚最佳对象检测模型。为此，我们提出了一种新型的重颈范式，长颈鹿，这是一个类似长颈鹿的网络，用于有效的对象检测。长颈鹿使用极轻的骨干和非常深的颈部模块，可同时同时在不同的空间尺度以及不同级别的潜在语义之间进行密集的信息交换。该设计范式允许检测器即使在网络的早期阶段，也可以在相同的优先级处理高级语义信息和低级空间信息，从而使其在检测任务中更有效。对多个流行对象检测基准的数值评估表明，长颈鹿在广泛的资源约束中始终优于先前的SOTA模型。源代码可在https://github.com/jyqi/giraffedet上获得。

我们分析了实时对象检测模型的网络结构，发现功能串联阶段中的特征非常丰富。在此处应用注意模块可以有效提高模型的检测准确性。但是，常用的注意模块或自我发项模块在检测准确性和推理效率方面的性能差。因此，我们提出了一个新型的自我发场模块，称为颈部网络的特征串联阶段，称为2D局部特征叠加的自我注意。这个自我发场模块通过局部特征和本地接收场反映了全球特征。我们还建议并优化有效的脱钩头和AB-OTA，并实现SOTA结果。对于使用我们建议的改进，获得了49.0 \％（66.2 fps），46.1 \％（80.6 fps）和39.1 \％（100 fps）的平均精度。我们的模型平均精度超过了Yolov5 0.8 \％-3.1 \％。

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。

DETR has been recently proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance. However, it suffers from slow convergence and limited feature spatial resolution, due to the limitation of Transformer attention modules in processing image feature maps. To mitigate these issues, we proposed Deformable DETR, whose attention modules only attend to a small set of key sampling points around a reference. Deformable DETR can achieve better performance than DETR (especially on small objects) with 10× less training epochs. Extensive experiments on the COCO benchmark demonstrate the effectiveness of our approach. Code is released at https:// github.com/fundamentalvision/Deformable-DETR.

2019年冠状病毒为全球社会稳定和公共卫生带来了严重的挑战。遏制流行病的一种有效方法是要求人们在公共场所戴口罩，并通过使用合适的自动探测器来监视戴口罩状态。但是，现有的基于深度学习的模型努力同时达到高精度和实时性能的要求。为了解决这个问题，我们提出了基于Yolov5的改进的轻质面膜探测器，该检测器可以实现精确和速度的良好平衡。首先，提出了将ShuffleNetV2网络与协调注意机制相结合的新型骨干轮弹工具作为骨干。之后，将有效的路径攻击网络BIFPN作为特征融合颈应用。此外，在模型训练阶段，定位损失被α-CIOU取代，以获得更高质量的锚。还利用了一些有价值的策略，例如数据增强，自适应图像缩放和锚点群集操作。 Aizoo面膜数据集的实验结果显示了所提出模型的优越性。与原始的Yolov5相比，提出的模型将推理速度提高28.3％，同时仍将精度提高0.58％。与其他七个现有型号相比，它的最佳平均平均精度为95.2％，比基线高4.4％。

X射线图像在制造业的质量保证中起着重要作用，因为它可以反映焊接区域的内部条件。然而，不同缺陷类型的形状和规模大大变化，这使得模型检测焊接缺陷的挑战性。在本文中，我们提出了一种基于卷积神经网络的焊接缺陷检测方法，即打火机和更快的YOLO（LF-YOLO）。具体地，增强的多尺度特征（RMF）模块旨在实现基于参数和无参数的多尺度信息提取操作。 RMF使得提取的特征映射能够代表更丰富的信息，该信息是通过卓越的层级融合结构实现的。为了提高检测网络的性能，我们提出了一个有效的特征提取（EFE）模块。 EFE处理具有极低消耗量的输入数据，并提高了实际行业中整个网络的实用性。实验结果表明，我们的焊接缺陷检测网络在性能和消耗之间实现了令人满意的平衡，达到92.9平均平均精度MAP50，每秒61.5帧（FPS）。为了进一步证明我们方法的能力，我们在公共数据集MS Coco上测试它，结果表明我们的LF-YOLO具有出色的多功能性检测性能。代码可在https://github.com/lmomoy/lf-yolo上获得。

在本文中，我们提出了简单的关注机制，我们称之为箱子。它可以实现网格特征之间的空间交互，从感兴趣的框中采样，并提高变压器的学习能力，以获得几个视觉任务。具体而言，我们呈现拳击手，短暂的框变压器，通过从输入特征映射上的参考窗口预测其转换来参加一组框。通过考虑其网格结构，拳击手通过考虑其网格结构来计算这些框的注意力。值得注意的是，Boxer-2D自然有关于其注意模块内容信息的框信息的原因，使其适用于端到端实例检测和分段任务。通过在盒注意模块中旋转的旋转的不变性，Boxer-3D能够从用于3D端到端对象检测的鸟瞰图平面产生识别信息。我们的实验表明，拟议的拳击手-2D在Coco检测中实现了更好的结果，并且在Coco实例分割上具有良好的和高度优化的掩模R-CNN可比性。 Boxer-3D已经为Waymo开放的车辆类别提供了令人信服的性能，而无需任何特定的类优化。代码将被释放。