常规进行了视频支气管镜检查，以涉嫌癌症，监测COPD患者的肺组织活检以及在重症监护病房中澄清急性呼吸问题。复杂的支气管树中的导航尤其具有挑战性和身体要求，需要医生的长期经验。本文介绍了支气管镜视频中支气管孔的自动分割。由于缺乏易于获取的地面真相分段数据，目前，基于学习的深度方法被阻碍。因此，我们提出了一个由K均值组成的数据驱动管道，然后是基于紧凑的标记的流域算法，该算法能够从给定的深度图像中生成气道实例分割图。通过这种方式，这些传统算法是仅基于Phantom数据集的RGB图像上直接在RGB图像上训练浅CNN的弱监督。我们在两个体内数据集上评估了该模型的概括能力，这些数据集涵盖21个不同的支气管镜上的250帧。我们证明其性能与那些在体内数据中直接训练的模型相当，通过128x128的图像分辨率，对于检测到的气道分割中心的平均误差为11 vs 5像素。我们的定量和定性结果表明，在视频支气管镜检查，幻影数据和弱监督的背景下，使用基于非学习的方法可以获得对气道结构的语义理解。

本文介绍了提交给SHREC 2022坑道轨道和路面裂纹检测的方法。总共比较了道路表面的语义分割的7种不同的运行，参与者和基线方法的6个。所有方法都利用深度学习技术及其性能使用相同的环境（即：单个Jupyter笔记本）进行测试。由3836个语义细分图像/蒙版对组成的培训集和797个带有最新深度摄像机的RGB-D视频片段组成。然后，在验证集中的496个图像/掩码对上，测试集中的504对，最后在8个视频剪辑上评估该方法。结果的分析基于用于图像分割和视频剪辑定性分析的定量指标。参与和结果表明，该方案引起了人们的极大兴趣，在这种情况下，使用RGB-D数据仍然具有挑战性。

从众包标签或公开的数据创建的大规模数据集已经至关重要，为大规模学习算法提供培训数据。虽然这些数据集更容易获取，但数据经常嘈杂和不可靠，这是对弱监督学习技术的激励研究。在本文中，我们提出了原始想法，帮助我们在变更检测的背景下利用此类数据集。首先，我们提出了引导的各向异性扩散（GAD）算法，其使用输入图像改善语义分割结果作为执行边缘保留滤波的引导件。然后，我们展示了它在改变检测中量身定制的两个弱监督的学习策略中的潜力。第一策略是一种迭代学习方法，它将模型优化和数据清理使用GAD从开放矢量数据生成的大规模改变检测数据集中提取有用信息。第二个在新的空间注意层内包含GAD，其增加训练训练的弱监管网络的准确性，以从图像级标签执行像素级预测。在4个不同的公共数据集上展示了关于最先进的最先进的改进。

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

本文介绍了用于合成近红外（NIR）图像生成和边界盒水平检测系统的数据集。不可否认的是，诸如Tensorflow或Pytorch之类的高质量机器学习框架以及大规模的Imagenet或可可数据集借助于加速GPU硬件，已将机器学习技术的极限推向了数十多年。在这些突破中，高质量的数据集是可以在模型概括和数据驱动的深神经网络的部署方面取得成功的基本构件之一。特别是，综合数据生成任务通常比其他监督方法需要更多的培训样本。因此，在本文中，我们共享从两个公共数据集（即Nirscene和Sen12ms）和我们的新颖NIR+RGB甜椒（辣椒（辣椒）数据集）重新处理的NIR+RGB数据集。我们定量和定性地证明了这些NIR+RGB数据集足以用于合成NIR图像生成。对于NIRSCENE1，SEN12MS和SEWT PEPPER数据集，我们实现了第11.36、26.53、26.53、26.53和40.15的距离（FID）。此外，我们发布了11个水果边界盒的手动注释，可以使用云服务将其作为各种格式导出。四个新添加的水果[蓝莓，樱桃，猕猴桃和小麦]化合物11新颖的边界盒数据集，在我们先前的DeepFruits项目中提出的作品[Apple，Appsicum，Capsicum，Capsicum，Mango，Orange，Rockmelon，Strawberry]。数据集的边界框实例总数为162K，可以从云服务中使用。为了评估数据集，YOLOV5单阶段检测器被利用并报告了令人印象深刻的平均水平前期，MAP [0.5：0.95]的结果为[min：0.49，最大：0.812]。我们希望这些数据集有用，并作为未来研究的基准。

在真正无约束的基于RGB的设置中的手部分割和检测对于许多应用来说都很重要。然而，由于大量分割和检测数据的手动注释的可行性，现有数据集远非充分的尺寸和变化。结果，目前的方法受许多潜在的假设有限，例如约束环境，呈肤色和照明。在这项工作中，我们展示了EGO2HANDS，这是一种基于大规模的基于RGB的自主手法分割/检测数据集，其是半自动注释的和基于颜色不变的合成的数据生成技术，能够创建具有大量和变化的培训数据。为了定量分析，我们手动注释了一个评估集，可显着超过现有的数量，多样性和注释精度的基准。我们提供跨数据集评估，并彻底分析了EGO2Hand上的最先进模型的性能，以表明我们的数据集和数据生成技术可以生成概括到未经域间适应的未经调整环境的模型。

模拟逼真的传感器是自主系统数据生成的挑战，通常涉及精心手工的传感器设计，场景属性和物理建模。为了减轻这一点，我们引入了一条管道，用于对逼真的激光雷达传感器进行数据驱动的模拟。我们提出了一个模型，该模型可以在RGB图像和相应的LIDAR功能（例如Raydrop或每点强度）之间直接从真实数据集中进行映射。我们表明，我们的模型可以学会编码逼真的效果，例如透明表面上的掉落点或反射材料上的高强度回报。当应用于现成的模拟器软件提供的天真播放点云时，我们的模型通过根据场景的外观预测强度和删除点来增强数据，以匹配真实的激光雷达传感器。我们使用我们的技术来学习两个不同的LIDAR传感器的模型，并使用它们相应地改善模拟的LiDAR数据。通过车辆细分的示例任务，我们表明通过我们的技术增强模拟点云可以改善下游任务性能。

边缘检测是许多计算机视觉应用的基础。最先进的国家主要依赖于两个决定性因素的深度学习：数据集内容和网络的体系结构。大多数公共可用数据集未策划边缘检测任务。在这里，我们为此约束提供解决方案。首先，我们认为边缘，轮廓和边界尽管它们重叠，是需要单独的基准数据集的三个不同的视觉功能。为此，我们介绍了一个新的边缘数据集。其次，我们提出了一种新颖的架构，称为边缘检测（Dexined）的密集极端成立网络，可以从划痕的情况下培训，而没有任何预先训练的重量。Dexined优于所呈现的数据集中的其他算法。它还概括到其他数据集没有任何微调。由于IT输出的更锐利和更精细的边缘，所以更高的Dexined质量也显着显着。

语义场景的理解对于在各种环境中作用的移动代理至关重要。尽管语义细分已经提供了大量信息，但缺少有关单个对象以及一般场景的详细信息，但对于许多现实世界应用程序所必需。但是，分别解决多个任务是昂贵的，并且在移动平台上计算和电池能力有限，无法实时完成。在本文中，我们提出了一种有效的多任务方法，用于RGB-D场景分析〜（EMSANET），该方法同时执行语义和实例分割〜（Panoptic分割），实例方向估计和场景分类。我们表明，所有任务都可以在移动平台上实时使用单个神经网络完成，而不会降低性能 - 相比之下，各个任务能够彼此受益。为了评估我们的多任务方法，我们扩展了常见的RGB-D室内数据集NYUV2和SUNRGB-D的注释，例如分割和方向估计。据我们所知，我们是第一个为NYUV2和SUNRGB-D上的室内场景分析提供如此全面的多任务设置的结果。

检测裂缝是监测结构健康和确保结构安全的关键任务。裂纹检测的手动过程是耗时的，对检查员进行了主观。一些研究人员尝试使用传统的图像处理或基于学习的技术来解决此问题。但是，它们的工作范围仅限于检测单一类型的表面（墙壁，人行道，玻璃等）上的裂缝。用于评估这些方法的指标在整个文献中也有所不同，这使得比较技术具有挑战性。本文通过结合先前可用的数据集并通过解决每个数据集中的固有问题（例如噪声和扭曲）来解决这些问题。我们还提出了结合图像处理和深度学习模型的管道。最后，我们在新数据集上对这些指标的建议模型的结果进行了基准测试，并将它们与文献中的最新模型进行了比较。

尽管近期基于深度学习的语义细分，但远程感测图像的自动建筑检测仍然是一个具有挑战性的问题，由于全球建筑物的出现巨大变化。误差主要发生在构建足迹的边界，阴影区域，以及检测外表面具有与周围区域非常相似的反射率特性的建筑物。为了克服这些问题，我们提出了一种生成的对抗基于网络的基于网络的分割框架，其具有嵌入在发电机中的不确定性关注单元和改进模块。由边缘和反向关注单元组成的细化模块，旨在精炼预测的建筑地图。边缘注意力增强了边界特征，以估计更高的精度，并且反向关注允许网络探索先前估计区域中缺少的功能。不确定性关注单元有助于网络解决分类中的不确定性。作为我们方法的权力的衡量标准，截至2021年12月4日，它在Deepglobe公共领导板上的第二名，尽管我们的方法的主要重点 - 建筑边缘 - 并不完全对齐用于排行榜排名的指标。 DeepGlobe充满挑战数据集的整体F1分数为0.745。我们还报告了对挑战的Inria验证数据集的最佳成绩，我们的网络实现了81.28％的总体验证，总体准确性为97.03％。沿着同一条线，对于官方Inria测试数据集，我们的网络总体上得分77.86％和96.41％，而且准确性。

在良好的弹药条件下，车辆检测准确性相当准确，但在弱光条件下容易受到检测准确性不佳。弱光和眩光的组合效果或尾灯的眩光导致最新的对象检测模型更有可能错过车辆检测。但是，热红外图像对照明的变化是可靠的，并且基于热辐射。最近，生成对抗网络（GAN）已在图像域传输任务中广泛使用。最先进的GAN型号试图通过将红外图像转换为白天的RGB图像来提高夜间车辆检测准确性。但是，与白天条件相比，在夜间条件下，这些模型在夜间条件下表现不佳。因此，这项研究试图通过提出三种不同的方法来缓解这一缺点，该方法基于两个不同级别的GAN模型的组合，试图减少白天和夜间红外图像之间的特征分布差距。通过使用最新的对象检测模型测试模型，可以完成定量分析以比较提出模型的性能与最新模型的性能。定量和定性分析都表明，所提出的模型在夜间条件下的最新车辆检测模型优于最先进的GAN模型，显示了所提出的模型的功效。

Generally, microscopy image analysis in biology relies on the segmentation of individual nuclei, using a dedicated stained image, to identify individual cells. However stained nuclei have drawbacks like the need for sample preparation, and specific equipment on the microscope but most importantly, and as it is in most cases, the nuclear stain is not relevant to the biological questions of interest but is solely used for the segmentation task. In this study, we used non-stained brightfield images for nuclei segmentation with the advantage that they can be acquired on any microscope from both live or fixed samples and do not necessitate specific sample preparation. Nuclei semantic segmentation from brightfield images was obtained, on four distinct cell lines with U-Net-based architectures. We tested systematically deep pre-trained encoders to identify the best performing in combination with the different neural network architectures used. Additionally, two distinct and effective strategies were employed for instance segmentation, followed by thorough instance evaluation. We obtained effective semantic and instance segmentation of nuclei in brightfield images from standard test sets as well as from very diverse biological contexts triggered upon treatment with various small molecule inhibitor. The code used in this study was made public to allow further use by the community.

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

必须在密集的注释图像上培训最先进的实例分段方法。虽然一般而言，这一要求对于生物医学图像尤其令人生畏，其中域专业知识通常需要注释，没有大的公共数据收集可用于预培训。我们建议通过基于非空间嵌入的非空间嵌入的联盟分割方法来解决密集的注释瓶颈，该方法利用所学习的嵌入空间的结构以可分散的方式提取单个实例。然后可以将分割损耗直接应用于实例，整体管道可以以完全或弱监督的方式培训，包括积极解贴的监管的具有挑战性的情况，其中为未标记的部分引入了一种新的自我监督的一致性损失训练数据。我们在不同显微镜模型以及城市景观和CVPPP实例分段基准中评估了对2D和3D分段问题的提出的方法，在后者上实现最先进的结果。该代码可用于：https://github.com/kreshuklab/spoco

在非结构化环境中工作的机器人必须能够感知和解释其周围环境。机器人技术领域基于深度学习模型的主要障碍之一是缺乏针对不同工业应用的特定领域标记数据。在本文中，我们提出了一种基于域随机化的SIM2REAL传输学习方法，用于对象检测，可以自动生成任意大小和对象类型的标记的合成数据集。随后，对最先进的卷积神经网络Yolov4进行了训练，以检测不同类型的工业对象。通过提出的域随机化方法，我们可以在零射击和单次转移的情况下分别缩小现实差距，分别达到86.32％和97.38％的MAP50分数，其中包含190个真实图像。在GEFORCE RTX 2080 TI GPU上，数据生成过程的每图像少于0.5 s，培训持续约12H，这使其方便地用于工业使用。我们的解决方案符合工业需求，因为它可以通过仅使用1个真实图像进行培训来可靠地区分相似的对象类别。据我们所知，这是迄今为止满足这些约束的唯一工作。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

In this paper we present TruFor, a forensic framework that can be applied to a large variety of image manipulation methods, from classic cheapfakes to more recent manipulations based on deep learning. We rely on the extraction of both high-level and low-level traces through a transformer-based fusion architecture that combines the RGB image and a learned noise-sensitive fingerprint. The latter learns to embed the artifacts related to the camera internal and external processing by training only on real data in a self-supervised manner. Forgeries are detected as deviations from the expected regular pattern that characterizes each pristine image. Looking for anomalies makes the approach able to robustly detect a variety of local manipulations, ensuring generalization. In addition to a pixel-level localization map and a whole-image integrity score, our approach outputs a reliability map that highlights areas where localization predictions may be error-prone. This is particularly important in forensic applications in order to reduce false alarms and allow for a large scale analysis. Extensive experiments on several datasets show that our method is able to reliably detect and localize both cheapfakes and deepfakes manipulations outperforming state-of-the-art works. Code will be publicly available at https://grip-unina.github.io/TruFor/

胎儿镜检查激光​​光凝是一种广泛采用的方法，用于治疗双胞胎输血综合征（TTTS）。该过程涉及光凝病理吻合术以调节双胞胎之间的血液交换。由于观点有限，胎儿镜的可操作性差，可见性差和照明的可变性，因此该程序尤其具有挑战性。这些挑战可能导致手术时间增加和消融不完全。计算机辅助干预措施（CAI）可以通过识别场景中的关键结构并通过视频马赛克来扩展胎儿镜观景领域，从而为外科医生提供决策支持和背景意识。由于缺乏设计，开发和测试CAI算法的高质量数据，该领域的研究受到了阻碍。通过作为MICCAI2021内窥镜视觉挑战组织的胎儿镜胎盘胎盘分割和注册（FETREG2021）挑战，我们发布了第一个Largescale Multencentre TTTS数据集，用于开发广义和可靠的语义分割和视频摩擦质量algorithms。对于这一挑战，我们发布了一个2060张图像的数据集，该数据集是从18个体内TTTS胎儿镜检查程序和18个简短视频剪辑的船只，工具，胎儿和背景类别的像素通道。七个团队参与了这一挑战，他们的模型性能在一个看不见的测试数据集中评估了658个从6个胎儿镜程序和6个短剪辑的图像的图像。这项挑战为创建通用解决方案提供了用于胎儿镜面场景的理解和摩西式解决方案的机会。在本文中，我们介绍了FETREG2021挑战的发现，以及报告TTTS胎儿镜检查中CAI的详细文献综述。通过这一挑战，它的分析和多中心胎儿镜数据的发布，我们为该领域的未来研究提供了基准。

Monocular Depth Estimation (MDE) is a fundamental problem in computer vision with numerous applications. Recently, LIDAR-supervised methods have achieved remarkable per-pixel depth accuracy in outdoor scenes. However, significant errors are typically found in the proximity of depth discontinuities, i.e., depth edges, which often hinder the performance of depth-dependent applications that are sensitive to such inaccuracies, e.g., novel view synthesis and augmented reality. Since direct supervision for the location of depth edges is typically unavailable in sparse LIDAR-based scenes, encouraging the MDE model to produce correct depth edges is not straightforward. In this work we propose to learn to detect the location of depth edges from densely-supervised synthetic data, and use it to generate supervision for the depth edges in the MDE training. %Despite the 'domain gap' between synthetic and real data, we show that depth edges that are estimated directly are significantly more accurate than the ones that emerge indirectly from the MDE training. To quantitatively evaluate our approach, and due to the lack of depth edges ground truth in LIDAR-based scenes, we manually annotated subsets of the KITTI and the DDAD datasets with depth edges ground truth. We demonstrate significant gains in the accuracy of the depth edges with comparable per-pixel depth accuracy on several challenging datasets.