空中图像的语义分割是映射和地球观察的重要工具。但是，对细分的监督深度学习模型依赖大量的高质量标记数据，这是劳动密集型且耗时的生成。为了解决这个问题，我们提出了一种新方法，用于使用无人机（UAV）自主收集有用的模型培训数据。我们利用一种贝叶斯方法来估计语义分割中的模型不确定性。在任务过程中，语义预测和模型不确定性被用作地形映射的输入。管道的一个关键方面是将映射的模型不确定性与基于主动学习的机器人计划目标联系起来。这使我们能够自适应地指导无人机收集最有用的地形图像，该图像被人类标记用于模型培训。我们对现实世界数据的实验评估表明，与静态覆盖路径相比，在最大化模型性能和减少标签工作方面，使用我们的信息计划方法的好处。
translated by 谷歌翻译
正在为军事和商业用途开发越野自动驾驶的无人接地车辆（UGV），以在偏远地区提供关键的供应，帮助绘制和监视，并在有争议的环境中协助战争战士。由于越野环境的复杂性以及地形，照明条件，昼夜和季节性变化的变化，用于感知环境的模型必须处理大量的输入可变性。当前的数据集用于训练越野自动导航的感知模型在季节，位置，语义类别以及一天中的时间中缺乏多样性。我们测试了以下假设：由于输入分布漂移，在单个数据集上训练的模型可能无法推广到其他越野导航数据集和新位置。此外，我们研究了如何组合多个数据集来训练基于语义分割的环境感知模型，并表明训练模型以捕获不确定性可以通过显着的余量提高模型性能。我们将蒙版的方法扩展到语义分割任务中的不确定性量化方法，并将其与蒙特卡洛辍学和标准基线进行比较。最后，我们测试了在新测试环境中从UGV平台收集的数据的方法。我们表明，具有不确定性量化的开发的感知模型可以在UGV上可用，以支持在线感知和导航任务。
translated by 谷歌翻译
这项工作提出了一种体现的代理，可以以完全自主的方式将其语义分割网络调整到新的室内环境中。由于语义分割网络无法很好地推广到看不见的环境，因此代理会收集新环境的图像，然后将其用于自我监督的域适应性。我们将其作为一个有益的路径计划问题提出，并提出一种新的信息增益，该信息利用从语义模型中提取的不确定性来安全地收集相关数据。随着域的适应性的进展，这些不确定性会随着时间的推移而发生变化，并且我们系统的快速学习反馈驱使代理收集不同的数据。实验表明，与勘探目标相比，我们的方法更快地适应了新环境，最终性能更高，并且可以成功部署到物理机器人上的现实环境中。
translated by 谷歌翻译
为了安全操作，机器人必须能够避免在不确定的环境中发生碰撞。现有的不确定性运动计划方法通常会对高斯和障碍几何形状做出保守的假设。尽管视觉感知可以对环境提供更准确的表示，但其用于安全运动计划的使用受到神经网络的固有错误校准的限制以及获得足够数据集的挑战。为了解决这些模仿，我们建议采用经过系统增强数据集训练的深层语义分割网络的合奏，以确保可靠的概率占用信息。为了避免在运动计划中进行保守主义，我们通过基于场景的路径计划方法直接采用了概率感知。速度调度方案被应用于路径上，以确保跟踪不准确的情况。我们证明了系统数据增强与深层合奏结合的有效性以及与最新方法相比的基于方案的计划方法，并在涉及人手的实验中验证了我们的框架。
translated by 谷歌翻译
由于它可能对粮食安全，可持续性，资源利用效率，化学处理的降低以及人类努力和产量的优化，因此，自主机器人在农业中的应用正在越来越受欢迎。有了这一愿景，蓬勃发展的研究项目旨在开发一种适应性的机器人解决方案，用于精确耕作，该解决方案结合了小型自动无人驾驶飞机（UAV）（UAV）的空中调查能力以及由多功能无人驾驶的无人接地车（UGV）执行的针对性干预措施。本文概述了该项目中获得的科学和技术进步和结果。我们引入了多光谱感知算法以及空中和地面系统，用于监测农作物密度，杂草压力，作物氮营养状况，并准确地对杂草进行分类和定位。然后，我们介绍了针对我们在农业环境中机器人身份量身定制的导航和映射系统，以及用于协作映射的模块。我们最终介绍了我们在不同的现场条件和不同农作物中实施和测试的地面干预硬件，软件解决方案以及接口。我们描述了一个真正的用例，在该案例中，无人机与UGV合作以监视该领域并进行选择性喷涂而无需人工干预。
translated by 谷歌翻译
对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。
translated by 谷歌翻译
由于廉价的传感和边缘计算解决方案，最近在非结构化和未知环境中对机器人勘探的需求最近已经成长。为了更接近完全自主权，机器人需要实时处理测量流，呼吁有效的探索策略。基于信息的探测技术，例如Cauchy-Schwarz二次互信息（CSQMI）和快速Shannon互信（FSMI），已成功实现了具有范围测量的主动二进制占用映射。然而，正如我们设想使用语义有意义的对象指定的复杂任务的机器人，因此必须在测量，地图表示和探索目标中捕获语义类别。在这项工作中，我们提出了一种利用范围类别测量的贝叶斯多级映射算法，以及用于多级地图和测量的Shannon互联信息的封闭形式的下限。该界限允许快速评估许多潜在机器人轨迹，用于自主勘探和映射。此外，我们通过基于OctREE数据结构的语义标签，开发3-D环境的压缩表示，每个体素维护对象类的分类分布。所提出的3-D表示有助于使用范围类别观察光线的跑步长度编码（RLE）在语义Octomap和测量之间快速计算Shannon互信息。我们比较我们对基于前沿和FSMI探索的方法，并在各种模拟和现实世界实验中应用它。
translated by 谷歌翻译
我们在本文中提出了在循环中建立深度神经网络和人类之间的合作，以迅速获得遥感图像的准确分割图。简而言之，代理商迭代地与网络交互以纠正其最初缺陷的预测。具体地，这些相互作用是代表语义标签的注释。我们的方法论贡献是双重的。首先，我们提出了两个交互式学习计划，将用户输入集成到深神经网络中。第一个将注释连接到其他网络的输入。第二个将注释用作稀疏的地面真相来培训网络。其次，我们提出了一种积极的学习策略，以指导用户对诠释的最相关的领域。为此目的，我们比较不同的最先进的获取功能来评估神经网络不确定性，如Confidnet，熵或odin。通过对三个遥感数据集的实验，我们展示了所提出的方法的有效性。值得注意的是，我们表明基于不确定性估计的主动学习使能够快速引导用户对错误而导致错误，因此它与引导用户干预相关联。
translated by 谷歌翻译
本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译
近年来，研究人员委托机器人和无人驾驶汽车（UAV）团队委托进行准确的在线野火覆盖范围和跟踪。迄今为止，大多数先前的工作都集中在此类多机器人系统的协调和控制上，但尚未赋予这些无人机团队对火的轨道（即位置和传播动态）进行推理的能力，以提供性能保证时间范围。在空中野火监测的问题上，我们提出了一个预测框架，该框架使多UAV团队的合作能够与概率性能保证一起进行协作现场覆盖和火灾跟踪。我们的方法使无人机能够推断出潜在的火灾传播动态，以在安全至关重要的条件下进行时间扩展的协调。我们得出了一组新颖的，分析的时间和跟踪纠纷界限，以使无人机团队根据特定于案例的估计状态分发有限的资源并覆盖整个火灾区域，并提供概率性能保证。我们的结果不仅限于空中野火监测案例研究，而且通常适用于搜索和救援，目标跟踪和边境巡逻等问题。我们在模拟中评估了我们的方法，并在物理多机器人测试台上提供了建议的框架，以说明真实的机器人动态和限制。我们的定量评估验证了我们的方法的性能，分别比基于最新的模型和强化学习基准分别累积了7.5倍和9.0倍的跟踪误差。
translated by 谷歌翻译
主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。
translated by 谷歌翻译
监测草原的健康和活力对于告知管理决策至关优化农业应用中的旋转放牧的态度至关重要。为了利用饲料资源，提高土地生产力，我们需要了解牧场的增长模式，这在最先进的状态下即可。在本文中，我们建议部署一个机器人团队来监测一个未知的牧场环境的演变，以实现上述目标。为了监测这种环境，通常会缓慢发展，我们需要设计一种以低成本在大面积上快速评估环境的策略。因此，我们提出了一种集成管道，包括数据综合，深度神经网络训练和预测以及一个间歇地监测牧场的多机器人部署算法。具体而言，使用与ROS Gazebo的新型数据综合耦合的专家知识的农业数据，我们首先提出了一种新的神经网络架构来学习环境的时空动态。这种预测有助于我们了解大规模上的牧场增长模式，并为未来做出适当的监测决策。基于我们的预测，我们设计了一个用于低成本监控的间歇多机器人部署策略。最后，我们将提议的管道与其他方法进行比较，从数据综合到预测和规划，以证实我们的管道的性能。
translated by 谷歌翻译
在这项工作中，我们提出了一个端到端的异质多机器人系统框架，地面机器人能够在高空四个四极管实时创建的语义图中进行本地化，计划和导航。地面机器人在没有任何外部干预的情况下独立选择并解散目标。此外，他们通过使用语义将其本地地图与高架图匹配，执行跨视图本地化。通信主链是机会主义的，并且可以分配，使整个系统除了四型四型GPS之外没有外部基础架构，没有外部基础架构。我们通过在不同环境中的多个实验上执行不同的任务，通过执行不同的任务，对系统进行了广泛的测试。我们的地面机器人在现实世界中最少的干预和96公里的模拟无需干预即可自主行驶以上超过6公里。
translated by 谷歌翻译
Active target sensing is the task of discovering and classifying an unknown number of targets in an environment and is critical in search-and-rescue missions. This paper develops a deep reinforcement learning approach to plan informative trajectories that increase the likelihood for an uncrewed aerial vehicle (UAV) to discover missing targets. Our approach efficiently (1) explores the environment to discover new targets, (2) exploits its current belief of the target states and incorporates inaccurate sensor models for high-fidelity classification, and (3) generates dynamically feasible trajectories for an agile UAV by employing a motion primitive library. Extensive simulations on randomly generated environments show that our approach is more efficient in discovering and classifying targets than several other baselines. A unique characteristic of our approach, in contrast to heuristic informative path planning approaches, is that it is robust to varying amounts of deviations of the prior belief from the true target distribution, thereby alleviating the challenge of designing heuristics specific to the application conditions.
translated by 谷歌翻译
We develop BatchBALD, a tractable approximation to the mutual information between a batch of points and model parameters, which we use as an acquisition function to select multiple informative points jointly for the task of deep Bayesian active learning. BatchBALD is a greedy linear-time 1 − 1 /e-approximate algorithm amenable to dynamic programming and efficient caching. We compare BatchBALD to the commonly used approach for batch data acquisition and find that the current approach acquires similar and redundant points, sometimes performing worse than randomly acquiring data. We finish by showing that, using BatchBALD to consider dependencies within an acquisition batch, we achieve new state of the art performance on standard benchmarks, providing substantial data efficiency improvements in batch acquisition.
translated by 谷歌翻译
作为行业4.0时代的一项新兴技术，数字双胞胎因其承诺进一步优化流程设计，质量控制，健康监测，决策和政策制定等，通过全面对物理世界进行建模，以进一步优化流程设计，质量控制，健康监测，决策和政策，因此获得了前所未有的关注。互连的数字模型。在一系列两部分的论文中，我们研究了不同建模技术，孪生启用技术以及数字双胞胎常用的不确定性量化和优化方法的基本作用。第二篇论文介绍了数字双胞胎的关键启示技术的文献综述，重点是不确定性量化，优化方法，开源数据集和工具，主要发现，挑战和未来方向。讨论的重点是当前的不确定性量化和优化方法，以及如何在数字双胞胎的不同维度中应用它们。此外，本文介绍了一个案例研究，其中构建和测试了电池数字双胞胎，以说明在这两部分评论中回顾的一些建模和孪生方法。 GITHUB上可以找到用于生成案例研究中所有结果和数字的代码和预处理数据。
translated by 谷歌翻译
无线电贴图在无线通信和移动机器人任务中找到了许多应用，包括资源分配，干扰协调和任务规划。尽管已经提出了许多技术来构造来自空间分布测量的无线电映射，但是预先假定了这种测量的位置的位置。相反，本文提出了频谱测量，其中诸如无人航空车辆（UAV）的移动机器人在主动选择的一组位置处收集测量以在短测量时间内获得高质量地图估计。这是以两步执行的。首先，设计了两种新颖的算法，基于模型的在线贝叶斯估计器和数据驱动的深度学习算法，以更新地图估计和指示每个可能位置的测量信息的信息性。这些算法提供互补的益处，并且每次测量都具有恒定的复杂性。其次，不确定度量用于规划无人机的轨迹，以在最具信息地的位置收集测量。为了克服这个问题的组合复杂性，提出了一种动态编程方法，以通过线性时间的大不确定性的区域获取航路点列表。在现实数据集上进行的数值实验证实了所提出的方案快速构建精确的无线电贴图。
translated by 谷歌翻译
主动映射的传统方法专注于构建几何图。但是，对于大多数真实世界应用程序，可行的信息与环境中的语义有意义的对象有关。我们提出了一种用于主动度量语义映射问题的方法，该方法使多个异质机器人能够协作构建环境地图。这些机器人积极探索以最大程度地减少语义（对象分类）和几何（对象建模）信息中的不确定性。我们使用信息丰富但稀疏的对象模型表示环境，每个模型由基本形状和语义类标签组成，并使用大量现实世界数据在经验上表征不确定性。鉴于先前的地图，我们使用此模型为每个机器人选择动作以最大程度地减少不确定性。通过多种现实世界环境中的多机器人实验证明了我们的算法的性能。所提出的框架适用于广泛的现实问题，例如精确农业，基础设施检查和工厂中的资产映射。
translated by 谷歌翻译
主动位置估计（APE）是使用一个或多个传感平台本地化一个或多个目标的任务。 APE是搜索和拯救任务，野生动物监测，源期限估计和协作移动机器人的关键任务。 APE的成功取决于传感平台的合作水平，他们的数量，他们的自由度和收集的信息的质量。 APE控制法通过满足纯粹剥削或纯粹探索性标准，可以实现主动感测。前者最大限度地减少了位置估计的不确定性;虽然后者驱动了更接近其任务完成的平台。在本文中，我们定义了系统地分类的主要元素，并批判地讨论该域中的最新状态。我们还提出了一个参考框架作为对截图相关的解决方案的形式主义。总体而言，本调查探讨了主要挑战，并设想了本地化任务的自主感知系统领域的主要研究方向。促进用于搜索和跟踪应用的强大主动感测方法的开发也有益。
translated by 谷歌翻译