与计算机视觉合并的基于无人机的遥感系统（UAV）遥感系统具有协助建筑物建设和灾难管理的潜力，例如地震期间的损害评估。可以通过检查来评估建筑物到地震的脆弱性，该检查考虑到相关组件的预期损害进展以及组件对结构系统性能的贡献。这些检查中的大多数是手动进行的，导致高利用人力，时间和成本。本文提出了一种通过基于无人机的图像数据收集和用于后处理的软件库来自动化这些检查的方法，该方法有助于估算地震结构参数。这里考虑的关键参数是相邻建筑物，建筑计划形状，建筑计划区域，屋顶上的对象和屋顶布局之间的距离。通过使用距离测量传感器以及通过Google Earth获得的数据进行的现场测量，可以验证所提出的方法在估计上述参数估算上述参数方面的准确性。可以从https://uvrsabi.github.io/访问其他详细信息和代码。
translated by 谷歌翻译
建筑变更检测是许多重要应用，特别是在军事和危机管理领域。最近用于变化检测的方法已转向深度学习，这取决于其培训数据的质量。因此，大型注释卫星图像数据集的组装对于全球建筑更改监视是必不可少的。现有数据集几乎完全提供近Nadir观看角度。这限制了可以检测到的更改范围。通过提供更大的观察范围，光学卫星的滚动成像模式提出了克服这种限制的机会。因此，本文介绍了S2Looking，一个建筑变革检测数据集，其中包含以各种偏离Nadir角度捕获的大规模侧视卫星图像。 DataSet由5000个批次图像对组成的农村地区，并在全球范围内超过65,920个辅助的变化实例。数据集可用于培训基于深度学习的变更检测算法。它通过提供（1）更大的观察角来扩展现有数据集; （2）大照明差异; （3）额外的农村形象复杂性。为了便于{该数据集的使用，已经建立了基准任务，并且初步测试表明，深度学习算法发现数据集明显比最接近的近Nadir DataSet，Levir-CD +更具挑战性。因此，S2Looking可能会促进现有的建筑变革检测算法的重要进步。 DataSet可在https://github.com/s2looking/使用。
translated by 谷歌翻译
我们生活的世界充满了技术，而每天都有无人机的进步和使用有效地增加。由于许多应用程序方案，在某些任务中，无人机容易受到外部干扰的影响，例如地面站的连通性丧失，安全任务，安全问题和与交货相关的任务。因此，根据情况，这可能会影响运营并导致无人机的安全着陆。因此，本文提出了一种在动态环境中安全着陆的启发式方法。这种方法的目的是检测安全的潜在降落区 - PLZ，并找出最适合降落的区域。最初，PLZ是通过通过Canny Edge算法处理图像来检测的，然后应用了直径估计值对于每个边缘最小的区域。比车辆间隙更高的斑点被标记为安全PLZ。在该方法的第二阶段中，计算了向PLZ移动的动态障碍的速度，并考虑到达到区域的时间。计算无人机的ETA并在无人机的下降期间，执行动态障碍物。在现实世界环境中测试的方法显示了现有工作的更好结果。
translated by 谷歌翻译
视频分析的图像分割在不同的研究领域起着重要作用，例如智能城市，医疗保健，计算机视觉和地球科学以及遥感应用。在这方面，最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地，目前正在研究Panoptic细分，以帮助获得更多对视频监控，人群计数，自主驾驶，医学图像分析的图像场景的更细致的知识，以及一般对场景更深入的了解。为此，我们介绍了本文的首次全面审查现有的Panoptic分段方法，以获得作者的知识。因此，基于所采用的算法，应用场景和主要目标的性质，执行现有的Panoptic技术的明确定义分类。此外，讨论了使用伪标签注释新数据集的Panoptic分割。继续前进，进行消融研究，以了解不同观点的Panoptic方法。此外，讨论了适合于Panoptic分割的评估度量，并提供了现有解决方案性能的比较，以告知最先进的并识别其局限性和优势。最后，目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势，可以成为即将到来的研究研究的起点。提供代码的文件可用于：https：//github.com/elharroussomar/awesome-panoptic-egation
translated by 谷歌翻译
我们为来自多视图立体声（MVS）城市场景的3D建筑物的实例分割了一部小说框架。与关注城市场景的语义分割的现有作品不同，即使它们安装在大型和不精确的3D表面模型中，这项工作的重点是检测和分割3D构建实例。通过添加高度图，首先将多视图RGB图像增强到RGBH图像，并且被分段以使用微调的2D实例分割神经网络获得所有屋顶实例。然后将来自不同的多视图图像的屋顶实例掩码被聚集到全局掩码中。我们的面具聚类占空间闭塞和重叠，可以消除多视图图像之间的分割歧义。基于这些全局掩码，3D屋顶实例由掩码背部投影分割，并通过Markov随机字段（MRF）优化扩展到整个建筑实例。定量评估和消融研究表明了该方法的所有主要步骤的有效性。提供了一种用于评估3D建筑模型的实例分割的数据集。据我们所知，它是一个在实例分割级别的3D城市建筑的第一个数据集。
translated by 谷歌翻译
地理定位的概念是指确定地球上的某些“实体”的位置的过程，通常使用全球定位系统（GPS）坐标。感兴趣的实体可以是图像，图像序列，视频，卫星图像，甚至图像中可见的物体。由于GPS标记媒体的大规模数据集由于智能手机和互联网而迅速变得可用，而深入学习已经上升以提高机器学习模型的性能能力，因此由于其显着影响而出现了视觉和对象地理定位的领域广泛的应用，如增强现实，机器人，自驾驶车辆，道路维护和3D重建。本文提供了对涉及图像的地理定位的全面调查，其涉及从捕获图像（图像地理定位）或图像内的地理定位对象（对象地理定位）的地理定位的综合调查。我们将提供深入的研究，包括流行算法的摘要，对所提出的数据集的描述以及性能结果的分析来说明每个字段的当前状态。
translated by 谷歌翻译
利用相对高的像素 - 明智的度量分数，正在实现使用相对卷积神经网络的编码器解码器中存在的卫星图像中存在的建筑物的语义分割。在本文中，我们的目标是利用实例分段任务的完全卷积神经网络的力量，并使用额外添加的类与流域处理技术一起利用更好的对象度量结果来利用。我们还显示Cutmix混合数据增强和单周期学习率政策是更大的正则化方法，以实现更好的培训数据和提高性能。此外，混合精度训练提供了更灵活的来试验更大的网络和批次，同时保持训练期间的稳定性和收敛性。我们比较并显示在我们整个管道中的这些额外变化的效果，最终提供了一个已被证明更好地执行的调谐超参数。
translated by 谷歌翻译
分析了2011年至2021年发表的88个来源，本文对基于计算机的建筑物和建筑环境进行了首次系统评价，以评估其对建筑和城市设计研究的价值。遵循多阶段的选择过程，讨论了有关建筑应用，例如建筑物分类，详细分类，定性环境分析，建筑条件调查和建筑价值估算等建筑应用程序的类型。这揭示了当前的研究差距和趋势，并突出了研究目标的两个主要类别。首先，要使用或优化计算机视觉方法进行体系结构图像数据，然后可以帮助自动化耗时，劳动密集型或复杂的视觉分析任务。其次，通过查找视觉，统计和定性数据之间的模式和关系来探索机器学习方法的方法论上的好处，以研究有关建筑环境的新问题，这可以克服传统手动分析的局限性。不断增长的研究为建筑和设计研究提供了新的方法，论文确定了未来的研究挑战和方向。
translated by 谷歌翻译
在过去几年中，自动驾驶一直是最受欢迎，最具挑战性的主题之一。在实现完全自治的道路上，研究人员使用了各种传感器，例如LIDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用程序的智能算法，例如对象检测，对象段，障碍，避免障碍物，避免障碍物和障碍物，以及路径计划。近年来，高清（HD）地图引起了很多关注。由于本地化中高清图的精度和信息水平很高，因此它立即成为自动驾驶的关键组成部分之一。从Baidu Apollo，Nvidia和TomTom等大型组织到个别研究人员，研究人员创建了用于自主驾驶的不同场景和用途的高清地图。有必要查看高清图生成的最新方法。本文回顾了最新的高清图生成技术，这些技术利用了2D和3D地图生成。这篇评论介绍了高清图的概念及其在自主驾驶中的有用性，并详细概述了高清地图生成技术。我们还将讨论当前高清图生成技术的局限性，以激发未来的研究。
translated by 谷歌翻译
建筑高度估计在许多应用中都很重要，如3D城市重建，城市规划和导航。最近，提出了一种新的建筑物高度估计方法，使用街道场景图像和2D地图。该方法比使用昂贵的高分辨率光学数据，LIDAR数据或雷达数据来获得的传统方法更具可扩展。该方法需要通过针孔相机模型来检测建筑屋顶线，然后计算建筑物高度。我们观察到这种方法在处理复杂的街道场景图像中具有局限性，其中建筑物彼此重叠并且屋顶线难以定位。我们提出CBHE，考虑到建筑角落和屋顶线的建筑高度估计算法。 CBHE首先根据来自2D地图和相机参数的建筑占地面积获得街道场景图像中的建筑角和屋顶候选。然后，我们使用一个名为BuildionNet的深神经网络来分类和过滤角落和屋顶候选。基于来自建筑物的有效角落和屋顶线，CBHE通过针孔相机模型计算建筑物高度。实验结果表明，与最先进的开放式分类器相比，该建议的建筑物对建筑角和屋顶候选滤波的准确性提高了。同时，CBHE以建筑物高度估计精度超过10％以上的基线算法。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战（MBZIRC）2020为无人机（无人机）构成了不同的挑战。我们提供了四个量身定制的无人机，专门为MBZIRC的单独空中机器人任务开发，包括自定义硬件和软件组件。在挑战1中，使用高效率，车载对象检测管道进行目标UAV，以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2，我们展示了一种能够自主空中操作的更大的无人机：从相机图像找到并跟踪砖。随后，将它们接近，挑选，运输并放在墙上。最后，在挑战3中，我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统，但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案，包括系统配置，监控，强大无线通信，高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务，我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献，这些贡献构成了我们的算法和系统的基础，并分析了在阿布扎比的MBZIRC竞赛2020年的结果，我们的系统在大挑战中达到了第二名。此外，我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译
由于存在浓烟或阴霾，从室外视觉环境收集的图像通常会降解。在这些退化的视觉环境（DVE）中，在场景理解中进行研究的关键挑战是缺乏代表性的基准数据集。这些数据集需要评估降级设置中的最新对象识别和其他计算机视觉算法。在本文中，我们通过引入带有朦胧和无雾图像的第一个配对的真实图像基准数据集以及原位的雾化密度测量来解决其中的一些限制。该数据集是在受控的环境中生产的，其专业烟雾产生机器覆盖了整个场景，并由从无人机（UAV）（UAV）和无人接地车（UGV）的角度捕获的图像组成。我们还评估了一组代表性的最先进的飞行方法以及数据集中的对象探测器。本文介绍的完整数据集，包括地面真相对象分类框和雾密度测量值，为社区提供了以下网址评估其算法的信息：https：//a2i2-archangel.vision。该数据集的一个子集已用于在CVPR UG2 2022挑战的雾痕中进行对象检测。
translated by 谷歌翻译
无人机已成为广泛使用的遥感平台之一，并在智能城市的建设中发挥了关键作用。但是，由于城市场景中的复杂环境，安全，准确的数据获取为3D建模和场景更新带来了巨大挑战。无人机的最佳轨迹计划和机载摄像机的准确数据收集是城市建模中的非平凡问题。这项研究介绍了优化观点的摄影测量原理，并在大规模3D建模中验证其精度和潜力。与倾斜的摄影测量法不同，优化的视图摄影测量法使用粗糙模型来生成和优化无人机轨迹，这是通过考虑模型点可重构性和视图点冗余性来实现的。基于优化视图的原理摄影测量法，本研究首先通过使用优化视图的无人机图像对3D模型进行精确分析潜在的。通过使用GCP进行图像方向精确分析和TLS（陆地激光扫描）点云进行模型质量分析，实验结果表明，优化的视图摄影测量法可以构建稳定的图像连接网络，并可以达到可比的图像方向准确性。从准确的图像采集策略中受益，网格模型的质量显着提高，尤其是对于严重阻塞的城市地区，在这种城市地区实现了3至5倍的精度。此外，青岛城的案例研究验证了优化视图摄影测量法可能是在复杂的城市场景中大规模3D建模的可靠和强大解决方案。
translated by 谷歌翻译
深度学习模式和地球观察的协同组合承诺支持可持续发展目标（SDGS）。新的发展和夸张的申请已经在改变人类将面临生活星球挑战的方式。本文审查了当前对地球观测数据的最深入学习方法，以及其在地球观测中深度学习的快速发展受到影响和实现最严重的SDG的应用。我们系统地审查案例研究至1）实现零饥饿，2）可持续城市，3）提供保管安全，4）减轻和适应气候变化，5）保留生物多样性。关注重要的社会，经济和环境影响。提前令人兴奋的时期即将到来，算法和地球数据可以帮助我们努力解决气候危机并支持更可持续发展的地方。
translated by 谷歌翻译
这项研究介绍了\ textit {landslide4sense}，这是一种从遥感中检测到滑坡检测的参考基准。该存储库具有3,799个图像贴片，可从Sentinel-2传感器中融合光学层，并带有数字高程模型和来自ALOS Palsar的斜率层。附加的地形信息促进了对滑坡边界的准确检测，而最近的研究表明，仅使用光学数据，这是具有挑战性的。广泛的数据集支持在滑坡检测中进行深度学习（DL）研究，以及用于系统更新滑坡库存的方法的开发和验证。基准数据集已在四个不同的时间和地理位置收集：伊伯里（2018年9月），科达古（2018年8月），戈尔卡（2015年4月）和台湾（2009年8月）。每个图像像素均标记为属于滑坡，包括各种来源和彻底的手动注释。然后，我们评估11个最先进的DL分割模型的滑坡检测性能：U-NET，RESU-NET，PSPNET，CONTECTNET，DEEPLAB-V2，DEEPLAB-V3+，FCN-8，LINKNET，FRRRN-A，FRRN-A，， FRRN-B和SQNET。所有型号均已从划痕上对每个研究区域的四分之一的补丁进行培训，并在其他三个季度的独立贴片上进行了测试。我们的实验表明，Resu-NET的表现优于其他模型，用于滑坡检测任务。我们在\ url {www.landslide4sense.org}公开获得多种源滑坡基准数据（Landslide4sense）和经过测试的DL模型，为遥感，计算机视觉和机器学习社区建立了重要的资源通常，尤其是对滑坡检测的应用。
translated by 谷歌翻译
检查裂缝是正确监视和维护建筑物的重要过程。但是，手动裂缝检查是耗时，不一致且危险的（例如，在高建筑物中）。由于开源AI技术的开发，可用的无人机（UAV）的增加以及智能手机摄像机的可用性，已经有可能自动化建筑物裂纹检查过程。这项研究介绍了使用最先进的分段算法来开发一种易于使用，免费和开源的自动化建筑物外部裂纹检查软件（ABECIS），用于建筑和设施经理定量和定性报告。使用在现实世界中的无人机和智能手机摄像机和受控实验室环境中收集的图像对Abecis进行了测试。从算法的原始输出来看，用于测试实验的工会上的中值相交是（1）0.686，用于使用商业无人机在受控的实验室环境中使用商业无人机在室内裂纹检测实验，（2）0.186，用于使用室内裂纹检测在施工现场检测的室内裂纹。智能手机和（3）0.958使用商业无人机在大学校园进行户外裂纹检测。当人类操作员选择性地消除误报时，这些IOU结果可以显着提高到0.8以上。通常，Abecis最适合室外无人机图像，将算法预测与人类验证/干预相结合提供非常准确的裂纹检测结果。该软件可公开可用，可以下载以供开箱即用：https：//github.com/smart-nyuad/abecis
translated by 谷歌翻译
2D和3D建筑图提供了宝贵的信息，以了解人类活动及其对地球及其环境的影响。尽管为提高建筑地图的质量而做出了巨大努力，但自动化方法产生的当前大规模建筑地图仍存在许多错误和不确定性，并且通常仅限于提供2D建筑信息。这项研究提出了一种开源无监督的2D和3D建筑物提取算法，并带有适用于大型建筑物映射的机载LIDAR数据。我们的算法以完全无监督的方式运行，不需要任何培训标签或培训程序。我们的算法由形态过滤和基于平面的过滤组成。因此，计算是有效的，结果易于预测，这可以大大减少所得建筑图中的不确定性。丹佛和纽约市的大规模数据集（> 550 $ km^2 $）的定量和定性评估表明，我们的算法比通过基于深度学习的方法生成的Microsoft Building Footprints可以产生更准确的建筑图。在不同条件下进行的广泛评估证实，我们的算法是可扩展的，可以通过适当的参数选择进一步改进。我们还详细介绍了参数和潜在错误来源的影响，以帮助我们算法的潜在用户。我们的基于激光雷达的算法具有优势，即生成2D和3D构建图在计算上有效，而它产生了准确且可解释的结果。我们提出的算法为带有机载激光雷达数据的全球尺度2D和3D建筑物映射提供了巨大的潜力。
translated by 谷歌翻译
本文介绍了Omnicity，这是一种从多层次和多视图图像中了解无所不能的城市理解的新数据集。更确切地说，Omnicity包含多视图的卫星图像以及街道级全景图和单视图图像，构成了超过100k像素的注释图像，这些图像是从纽约市的25k Geo-Locations中良好的一致性和收集的。为了减轻大量像素的注释努力，我们提出了一个有效的街景图像注释管道，该管道利用了卫星视图的现有标签地图以及不同观点之间的转换关系（卫星，Panorama和Mono-View）。有了新的Omnicity数据集，我们为各种任务提供基准，包括构建足迹提取，高度估计以及构建平面/实例/细粒细分。我们还分析了视图对每个任务的影响，不同模型的性能，现有方法的局限性等。与现有的多层次和多视图基准相比，我们的Omnicity包含更多具有更丰富注释类型和更丰富的图像更多的视图，提供了从最先进的模型获得的更多基线结果，并为街道级全景图像中的细粒度建筑实例细分介绍了一项新颖的任务。此外，Omnicity为现有任务提供了新的问题设置，例如跨视图匹配，合成，分割，检测等，并促进开发新方法，以了解大规模的城市理解，重建和仿真。 Omnicity数据集以及基准将在https://city-super.github.io/omnicity上找到。
translated by 谷歌翻译
在过去的十年中，自动驾驶航空运输车辆引起了重大兴趣。这是通过空中操纵器和新颖的握手的技术进步来实现这一目标的。此外，改进的控制方案和车辆动力学能够更好地对有效载荷进行建模和改进的感知算法，以检测无人机（UAV）环境中的关键特征。在这项调查中，对自动空中递送车辆的技术进步和开放研究问题进行了系统的审查。首先，详细讨论了各种类型的操纵器和握手，以及动态建模和控制方法。然后，讨论了降落在静态和动态平台上的。随后，诸如天气状况，州估计和避免碰撞之类的风险以确保安全过境。最后，调查了交付的UAV路由，该路由将主题分为两个领域：无人机操作和无人机合作操作。
translated by 谷歌翻译
车辆分类是一台热电电脑视觉主题，研究从地面查看到顶视图。在遥感中，顶视图的使用允许了解城市模式，车辆集中，交通管理等。但是，在瞄准像素方面的分类时存在一些困难：（a）大多数车辆分类研究使用对象检测方法，并且最公开的数据集设计用于此任务，（b）创建实例分段数据集是费力的，并且（C ）传统的实例分段方法由于对象很小，因此在此任务上执行此任务。因此，本研究目标是：（1）提出使用GIS软件的新型半监督迭代学习方法，（2）提出一种自由盒实例分割方法，（3）提供城市规模的车辆数据集。考虑的迭代学习程序：（1）标记少数车辆，（2）在这些样本上列车，（3）使用模型对整个图像进行分类，（4）将图像预测转换为多边形shapefile，（5 ）纠正有错误的一些区域，并将其包含在培训数据中，（6）重复，直到结果令人满意。为了单独的情况，我们考虑了车辆内部和车辆边界，DL模型是U-Net，具有高效网络B7骨架。当移除边框时，车辆内部变为隔离，允许唯一的对象识别。要恢复已删除的1像素边框，我们提出了一种扩展每个预测的简单方法。结果显示与掩模-RCNN（IOU中67％的82％）相比的更好的像素 - 明智的指标。关于每个对象分析，整体准确性，精度和召回大于90％。该管道适用于任何遥感目标，对分段和生成数据集非常有效。
translated by 谷歌翻译