In this paper, we propose PanoViT, a panorama vision transformer to estimate the room layout from a single panoramic image. Compared to CNN models, our PanoViT is more proficient in learning global information from the panoramic image for the estimation of complex room layouts. Considering the difference between a perspective image and an equirectangular image, we design a novel recurrent position embedding and a patch sampling method for the processing of panoramic images. In addition to extracting global information, PanoViT also includes a frequency-domain edge enhancement module and a 3D loss to extract local geometric features in a panoramic image. Experimental results on several datasets demonstrate that our method outperforms state-of-the-art solutions in room layout prediction accuracy.

在单个全景图像对3D房间布局的估计中，全局线框可以通过全局线框进行紧密描述。基于此观察，我们提出了一种替代方法，通过对可学习的霍夫变换块中的远程几何模式进行建模，以估算3D空间中的壁。我们将图像特征从库emap瓷砖转换为曼哈顿世界的霍夫空间，并将该功能直接映射到几何输出。卷积层不仅学习了局部梯度式的线特征，而且还利用全局信息成功预测具有简单网络结构的遮挡墙。与以前的大多数工作不同，预测是在每个Cubemap瓷砖上单独执行的，然后组装以获取布局估计。实验结果表明，我们在预测准确性和性能方面获得了可比的结果。代码可在https://github.com/starrah/dmh-net上找到。

Camouflaged objects are seamlessly blended in with their surroundings, which brings a challenging detection task in computer vision. Optimizing a convolutional neural network (CNN) for camouflaged object detection (COD) tends to activate local discriminative regions while ignoring complete object extent, causing the partial activation issue which inevitably leads to missing or redundant regions of objects. In this paper, we argue that partial activation is caused by the intrinsic characteristics of CNN, where the convolution operations produce local receptive fields and experience difficulty to capture long-range feature dependency among image regions. In order to obtain feature maps that could activate full object extent, keeping the segmental results from being overwhelmed by noisy features, a novel framework termed Cross-Model Detail Querying network (DQnet) is proposed. It reasons the relations between long-range-aware representations and multi-scale local details to make the enhanced representation fully highlight the object regions and eliminate noise on non-object regions. Specifically, a vanilla ViT pretrained with self-supervised learning (SSL) is employed to model long-range dependencies among image regions. A ResNet is employed to enable learning fine-grained spatial local details in multiple scales. Then, to effectively retrieve object-related details, a Relation-Based Querying (RBQ) module is proposed to explore window-based interactions between the global representations and the multi-scale local details. Extensive experiments are conducted on the widely used COD datasets and show that our DQnet outperforms the current state-of-the-arts.

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。

近年来，变压器架构目睹了快速发展，优于许多计算机视觉任务中的CNN架构，如视觉变压器（VIV）用于图像分类。然而，现有的视觉变压器模型旨在提取用于高级任务的语义信息，例如分类和检测。这些方法忽略输入图像的空间分辨率的重要性，从而牺牲相邻像素的局部相关信息。在本文中，我们提出了一个贴片金字塔变换器（PPT），以有效地解决上述问题。一致地，我们首先设计一个贴片变换器，将图像转换为一系列补丁，其中对每个修补程序执行变压器编码以提取本地表示。此外，我们构建了金字塔变换器，以有效地从整个图像中提取非本地信息。在获得原始图像的一组多尺度，多维和多角度特征之后，我们设计图像重建网络，以确保可以将特征重建为原始输入。为了验证有效性，我们将建议的贴片金字塔变压器应用于图像融合任务。实验结果表明其具有卓越的性能，而最先进的融合方法，在几种评估指标上实现了最佳结果。由于PPT网络的潜在代表性容量，它可以直接应用于不同的图像融合任务，而无需重新设计或再培训网络。

伯德眼景（BEV）中的语义细分是自动驾驶的重要任务。尽管这项任务吸引了大量的研究工作，但灵活应对在自动驾驶汽车上配备的任意（单个或多个）摄像头传感器仍然具有挑战性。在本文中，我们介绍了BEVSEGFORMER，这是一种有效的基于变压器的方法，用于从任意摄像机钻机中进行BEV语义分割。具体而言，我们的方法首先编码带有共享骨架的任意摄像机的图像功能。然后，这些图像功能通过基于变压器的编码器增强。此外，我们引入了BEV变压器解码器模块以解析BEV语义分割结果。有效的多相机可变形注意单元旨在进行BEV-to-to-image视图转换。最后，查询是根据BEV中网格的布局重塑的，并以监督方式进行了更大的采样以产生语义分割结果。我们在公共Nuscenes数据集和自收集的数据集上评估了所提出的算法。实验结果表明，我们的方法在任意摄像机钻机上实现了BEV语义分割的有希望的性能。我们还通过消融研究证明了每个组件的有效性。

本文介绍了端到端的实例分段框架，称为SOIT，该段具有实例感知变压器的段对象。灵感来自Detr〜\ Cite {carion2020end}，我们的方法视图实例分段为直接设置预测问题，有效地消除了对ROI裁剪，一对多标签分配等许多手工制作组件的需求，以及非最大抑制（ nms）。在SOIT中，通过在全局图像上下文下直接地将多个查询直接理解语义类别，边界框位置和像素 - WISE掩码的一组对象嵌入。类和边界盒可以通过固定长度的向量轻松嵌入。尤其是由一组参数嵌入像素方面的掩模以构建轻量级实例感知变压器。之后，实例感知变压器产生全分辨率掩码，而不涉及基于ROI的任何操作。总的来说，SOIT介绍了一个简单的单级实例分段框架，它是无乐和NMS的。 MS Coco DataSet上的实验结果表明，优于最先进的实例分割显着的优势。此外，在统一查询嵌入中的多个任务的联合学习还可以大大提高检测性能。代码可用于\ url {https://github.com/yuxiaodonghri/soit}。

基于卷积神经网络（CNN）框架对图像支出进行了很好的研究，最近引起了计算机视觉的更多关注。但是，CNN依靠固有的电感偏见来实现有效的样品学习，这可能会降低性能上限。在本文中，以最小的变压器体系结构中的柔性自我发挥机制的启发，我们将广义图像支出问题重新构架为贴片的序列到序列自动估计问题，从而使基于查询的图像映射出现。具体而言，我们提出了一个新型混合视觉转换器基于编码器框架，名为\ textbf {query} \ textbf {o} utpainting \ textbf {trextbf {tr} ansformer（\ textbf {queryotr}）围绕给定的图像。 Patch Mode的全球建模能力使我们可以从注意机制的查询角度推断图像。新颖的查询扩展模块（QEM）旨在根据编码器的输出从预测查询中整合信息，因此即使使用相对较小的数据集，也可以加速纯变压器的收敛性。为了进一步提高每个贴片之间的连接性，提议的贴片平滑模块（PSM）重新分配并平均重叠区域，从而提供无缝的预测图像。我们在实验上表明，QueryOtr可以针对最新的图像支出方法平稳和现实地产生吸引力的结果。

变形金刚在自然语言处理方面取得了巨大的成功。由于变压器中自我发挥机制的强大能力，研究人员为各种计算机视觉任务（例如图像识别，对象检测，图像分割，姿势估计和3D重建）开发了视觉变压器。本文介绍了有关视觉变形金刚的不同建筑设计和培训技巧（包括自我监督的学习）文献的全面概述。我们的目标是为开放研究机会提供系统的审查。

场景文本识别（str）是图像和文本之间的重要桥梁，吸引了丰富的研究关注。虽然卷积神经网络（CNNS）在此任务中取得了显着的进展，但大多数现有工作都需要额外的模块（上下文建模模块）来帮助CNN捕获全局依赖项来解决归纳偏差并加强文本特征之间的关系。最近，该变压器已被提出作为通过自我关注机制的全球背景建模的有希望的网络，但在应用于识别时主要缺点是效率。我们提出了一个1-D拆分来解决复杂性的挑战，并用变压器编码器替换CNN，以减少对上下文建模模块的需求。此外，最近的方法使用冻结的初始嵌入来指导解码器对文本进行解码，导致精度损失。我们建议使用从变压器编码器中学到的学习学习的可读初始嵌入，使其自适应不同的输入图像。最重要的是，我们介绍了一个新颖的文本识别架构，名为基于变压器的文本识别器，其中包含三个阶段（转换，特征提取和预测）组成的初始嵌入指导（TRIG）。广泛的实验表明，我们的方法可以在文本识别基准上实现最先进的。

在本文中，我们提出了一种使用CNN和变压器结构融合以提高图像分类性能的方法。对于CNN，可以很好地提取有关图像上局部区域的信息，但是限制了全局信息的提取。另一方面，变压器在相对全局的提取方面具有优势，但缺点是因为它需要大量的内存来进行本地特征值提取。在图像的情况下，它通过CNN转换为特征映射，每个特征映射的像素都被视为令牌。同时，将图像分为贴片区域，然后与将其视为令牌视图的变压器方法融合在一起。对于令牌与两个不同特征的融合，我们提出了三种方法：（1）具有平行结构的晚令融合，（2）早期令牌融合，（3）逐层中的令牌融合。在使用Imagenet 1K的实验中，提出的方法显示了最佳的分类性能。

Zigzag flattening (ZF) is commonly utilized as a default option to get the image patches ordering in deep models, e.g. vision transformers (ViTs). Notably, when decomposing multi-scale images, ZF could not maintain the invariance of feature point positions.To this end, we investigate the Hilbert flattening (HF) as an alternative for sequence ordering in vision tasks. HF has proven to be superior to other flatten approaches in maintaining spatial locality, when performing multi-scale transformations of dimensional space. In applications, we design a position encoding method based on HF, beating absolute position encoding non-trivially in Transformer architecture. It also can be used to feature down-sampling and feature/image interpolation. Extensive experiments demonstrate that it can yield consistent performance boosts for several popular architectures and applications. The code will be released upon acceptance.

大多数息肉分段方法使用CNNS作为其骨干，导致在编码器和解码器之间的信息交换信息时的两个关键问题：1）考虑到不同级别特征之间的贡献的差异; 2）设计有效机制，以融合这些功能。不同于现有的基于CNN的方法，我们采用了一个变压器编码器，它学会了更强大和强大的表示。此外，考虑到息肉的图像采集影响和难以实现的性质，我们介绍了三种新模块，包括级联融合模块（CFM），伪装识别模块（CIM），A和相似性聚集模块（SAM）。其中，CFM用于从高级功能收集息肉的语义和位置信息，而CIM应用于在低级功能中伪装的息肉信息。在SAM的帮助下，我们将息肉区域的像素特征扩展到整个息肉区域的高电平语义位置信息，从而有效地融合了交叉级别特征。所提出的模型名为Polyp-PVT，有效地抑制了特征中的噪声，并显着提高了他们的表现力。在五个广泛采用的数据集上进行了广泛的实验表明，所提出的模型对各种具有挑战性的情况（例如，外观变化，小物体）比现有方法更加强大，并实现了新的最先进的性能。拟议的模型可在https://github.com/dengpingfan/polyp-pvt获得。

对于单眼360图像，深度估计是一个具有挑战性的，因为失真沿纬度增加。为了感知失真，现有方法致力于设计深层且复杂的网络体系结构。在本文中，我们提供了一种新的观点，该视角为360图像构建了可解释且稀疏的表示形式。考虑到几何结构在深度估计中的重要性，我们利用Contourlet变换来捕获光谱域中的显式几何提示，并将其与空间域中的隐含提示集成在一起。具体而言，我们提出了一个由卷积神经网络和Contourlet变换分支组成的神经轮廓网络。在编码器阶段，我们设计了一个空间光谱融合模块，以有效融合两种类型的提示。与编码器相反，我们采用了逆向方形变换，并通过学习的低通子带和带通道的定向子带来构成解码器中的深度。在三个流行的全景图像数据集上进行的实验表明，所提出的方法的表现优于最先进的方案，其收敛速度更快。代码可在https://github.com/zhijieshen-bjtu/neural-contourlet-network-for-mode上找到。

表面缺陷检测是确保工业产品质量的极其至关重要的步骤。如今，基于编码器架构的卷积神经网络（CNN）在各种缺陷检测任务中取得了巨大的成功。然而，由于卷积的内在局部性，它们通常在明确建模长距离相互作用时表现出限制，这对于复杂情况下的像素缺陷检测至关重要，例如杂乱的背景和难以辨认的伪缺陷。最近的变压器尤其擅长学习全球图像依赖性，但对于详细的缺陷位置所需的本地结构信息有限。为了克服上述局限性，我们提出了一个有效的混合变压器体系结构，称为缺陷变压器（faft），用于表面缺陷检测，该检测将CNN和Transferaler纳入统一模型，以协作捕获本地和非本地关系。具体而言，在编码器模块中，首先采用卷积茎块来保留更详细的空间信息。然后，贴片聚合块用于生成具有四个层次结构的多尺度表示形式，每个层次结构之后分别是一系列的feft块，该块分别包括用于本地位置编码的本地位置块，一个轻巧的多功能自我自我 - 注意与良好的计算效率建模多尺度的全球上下文关系，以及用于功能转换和进一步位置信息学习的卷积馈送网络。最后，提出了一个简单但有效的解码器模块，以从编码器中的跳过连接中逐渐恢复空间细节。与其他基于CNN的网络相比，三个数据集上的广泛实验证明了我们方法的优势和效率。

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.

我们提出了一种新的表结构识别方法（TSR）方法，称为TSRFormer，以稳健地识别来自各种表图像的几何变形的复杂表的结构。与以前的方法不同，我们将表分离线预测作为线回归问题，而不是图像分割问题，并提出了一种新的两阶段基于基于DETR的分离器预测方法，称为\ textbf {sep} arator \ textbf {re} re} tr} ansformer（sepretr），直接预测与表图像的分离线。为了使两阶段的DETR框架有效地有效地在分离线预测任务上工作，我们提出了两个改进：1）一种先前增强的匹配策略，以解决慢速收敛问题的detr； 2）直接来自高分辨率卷积特征图的样本特征的新的交叉注意模块，以便以低计算成本实现高定位精度。在分离线预测之后，使用简单的基于关系网络的单元格合并模块来恢复跨越单元。借助这些新技术，我们的TSRFormer在包括SCITSR，PubTabnet和WTW在内的多个基准数据集上实现了最先进的性能。此外，我们已经验证了使用复杂的结构，无边界的单元，大空间，空的或跨越的单元格以及在更具挑战性的现实世界内部数据集中扭曲甚至弯曲的形状的桌子的鲁棒性。

Dunhuang murals are a collection of Chinese style and national style, forming a self-contained Chinese-style Buddhist art. It has very high historical and cultural value and research significance. Among them, the lines of Dunhuang murals are highly general and expressive. It reflects the character's distinctive character and complex inner emotions. Therefore, the outline drawing of murals is of great significance to the research of Dunhuang Culture. The contour generation of Dunhuang murals belongs to image edge detection, which is an important branch of computer vision, aims to extract salient contour information in images. Although convolution-based deep learning networks have achieved good results in image edge extraction by exploring the contextual and semantic features of images. However, with the enlargement of the receptive field, some local detail information is lost. This makes it impossible for them to generate reasonable outline drawings of murals. In this paper, we propose a novel edge detector based on self-attention combined with convolution to generate line drawings of Dunhuang murals. Compared with existing edge detection methods, firstly, a new residual self-attention and convolution mixed module (Ramix) is proposed to fuse local and global features in feature maps. Secondly, a novel densely connected backbone extraction network is designed to efficiently propagate rich edge feature information from shallow layers into deep layers. Compared with existing methods, it is shown on different public datasets that our method is able to generate sharper and richer edge maps. In addition, testing on the Dunhuang mural dataset shows that our method can achieve very competitive performance.

在过去的十年中，CNN在电脑愿景世界中统治了至高无上，但最近，变压器一直在崛起。然而，自我关注的二次计算成本已成为实践应用中的严重问题。在没有CNN的情况下，在这种情况下已经有很多研究了，并且在这种情况下自我关注。特别地，MLP混合器是使用MLP设计的简单架构，并击中与视觉变压器相当的精度。然而，这种体系结构中唯一的归纳偏见是嵌入令牌。这叶打开了将非卷积（或非本地）电感偏差结合到架构中的可能性，因此我们使用了两个简单的想法，以便利用其捕获全局相关能力的同时将电感偏差纳入MLP混合器。一种方法是将令牌混合块垂直和水平分割。另一种方法是在一些令牌混合通道中进行空间相关性密集。通过这种方法，我们能够提高MLP混合器的准确性，同时降低其参数和计算复杂性。 RAFTMLP-S的小型模型与每个计算的参数和效率方面的基于最先进的全球MLP的模型相当。此外，我们通过利用双向插值来解决基于MLP的模型的固定输入图像分辨率的问题。我们证明这些模型可以应用于诸如物体检测的下游任务的架构的骨干。但是，它没有显着的性能，并提到了对基于全球MLP的模型的下游任务的特定MLP特定架构的需求。 pytorch版本中的源代码可用于\ url {https:/github.com/okojoalg/raft-mlp}。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。