自动驾驶正在快速推进，级别2个功能正在成为标准功能。最重要的休假之一是在苛刻的天气和低光条件下获得强大的视觉感知，其中精度降解严重。在这些场景期间，具有天气分类模型将降低视觉感知信心至关重要。因此，我们已经为天气（雾，雨，雪）分类和光线（明亮，适度，低）分类建造了新的数据集。此外，我们提供街道类型（沥青，草和鹅卵石）分类，导致9个标签。每个图像都有三个标签，对应天气，光线水平和街道类型。我们录制了利用RCCC（RED / CLEAR）格式的工业前置摄像头的数据，分辨率为1024 \ times1084 $。我们收集了15k视频序列和采样的60K图像。我们实现了一个主动学习框架，以减少数据集的冗余，并找到用于训练模型的最佳帧集。我们将60K图像进一步蒸馏到1.1K图像，这将在隐私匿名化之后公开分享。没有公共数据集的天气和光线分类，专注于自动驾驶到我们的知识。用于天气分类的基线ResET18网络实现了最先进的导致两种非汽车天气分类公共数据集，但在我们提出的数据集中明显降低了准确性，证明它不是饱和的，需要进一步研究。

The performance of deep neural networks improves with more annotated data. The problem is that the budget for annotation is limited. One solution to this is active learning, where a model asks human to annotate data that it perceived as uncertain. A variety of recent methods have been proposed to apply active learning to deep networks but most of them are either designed specific for their target tasks or computationally inefficient for large networks. In this paper, we propose a novel active learning method that is simple but task-agnostic, and works efficiently with the deep networks. We attach a small parametric module, named "loss prediction module," to a target network, and learn it to predict target losses of unlabeled inputs. Then, this module can suggest data that the target model is likely to produce a wrong prediction. This method is task-agnostic as networks are learned from a single loss regardless of target tasks. We rigorously validate our method through image classification, object detection, and human pose estimation, with the recent network architectures. The results demonstrate that our method consistently outperforms the previous methods over the tasks.

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

Recent developments in in-situ monitoring and process control in Additive Manufacturing (AM), also known as 3D-printing, allows the collection of large amounts of emission data during the build process of the parts being manufactured. This data can be used as input into 3D and 2D representations of the 3D-printed parts. However the analysis and use, as well as the characterization of this data still remains a manual process. The aim of this paper is to propose an adaptive human-in-the-loop approach using Machine Learning techniques that automatically inspect and annotate the emissions data generated during the AM process. More specifically, this paper will look at two scenarios: firstly, using convolutional neural networks (CNNs) to automatically inspect and classify emission data collected by in-situ monitoring and secondly, applying Active Learning techniques to the developed classification model to construct a human-in-the-loop mechanism in order to accelerate the labeling process of the emission data. The CNN-based approach relies on transfer learning and fine-tuning, which makes the approach applicable to other industrial image patterns. The adaptive nature of the approach is enabled by uncertainty sampling strategy to automatic selection of samples to be presented to human experts for annotation.

在设计可持续和弹性的城市建造环境的同时，越来越多地促进了世界各地的，重大的数据差距对压迫可持续性问题挑战开展的研究。已知人行道具有强大的经济和环境影响;然而，由于数据收集的成本持久和耗时的性质，大多数城市缺乏它们的表面的空间目录。计算机愿景的最新进展与街道级别图像的可用性一起为城市提供了新的机会，以利用较低的实施成本和更高的准确性提取大规模建筑环境数据。在本文中，我们提出了一个基于主动学习的框架，利用计算机视觉技术来使用广泛可用的街道图像进行分类的计算机视觉技术。我们培训了来自纽约市和波士顿的图像的框架，评价结果显示了90.5％的Miou评分。此外，我们使用六个不同城市的图像评估框架，表明它可以应用于具有不同城市面料的区域，即使在培训数据的领域之外。 Citysurfaces可以为研究人员和城市代理商提供低成本，准确，可扩展的方法来收集人行道材料数据，在寻求主要可持续性问题方面发挥着关键作用，包括气候变化和地表水管理。

While deep learning succeeds in a wide range of tasks, it highly depends on the massive collection of annotated data which is expensive and time-consuming. To lower the cost of data annotation, active learning has been proposed to interactively query an oracle to annotate a small proportion of informative samples in an unlabeled dataset. Inspired by the fact that the samples with higher loss are usually more informative to the model than the samples with lower loss, in this paper we present a novel deep active learning approach that queries the oracle for data annotation when the unlabeled sample is believed to incorporate high loss. The core of our approach is a measurement Temporal Output Discrepancy (TOD) that estimates the sample loss by evaluating the discrepancy of outputs given by models at different optimization steps. Our theoretical investigation shows that TOD lower-bounds the accumulated sample loss thus it can be used to select informative unlabeled samples. On basis of TOD, we further develop an effective unlabeled data sampling strategy as well as an unsupervised learning criterion for active learning. Due to the simplicity of TOD, our methods are efficient, flexible, and task-agnostic. Extensive experimental results demonstrate that our approach achieves superior performances than the state-of-the-art active learning methods on image classification and semantic segmentation tasks. In addition, we show that TOD can be utilized to select the best model of potentially the highest testing accuracy from a pool of candidate models.

在数十年中收集的数字数据，并且使用信息技术目前生产的数据是无标记的数据或数据，没有描述。未标记的数据相对容易获取，但即使使用域专家也可以标记昂贵。最近的大多数作品都集中在使用不确定性指标来解决此问题的主动学习上。尽管大多数不确定性选择策略都非常有效，但他们未能考虑到未标记的实例的信息，并且很容易查询异常值。为了解决这些挑战，我们提出了一种混合方法来计算实例的不确定性和信息性，然后使用预算注释者自动标记计算的实例。为了降低注释成本，我们采用了最先进的预培训模型，以避免查询这些模型中已包含的信息。我们对不同数据集的广泛实验证明了该方法的功效。

虽然深度学习（DL）是渴望数据的，并且通常依靠广泛的标记数据来提供良好的性能，但主动学习（AL）通过从未标记的数据中选择一小部分样本进行标签和培训来降低标签成本。因此，近年来，在有限的标签成本/预算下，深入的积极学习（DAL）是可行的解决方案，可在有限的标签成本/预算下最大化模型性能。尽管已经开发了大量的DAL方法并进行了各种文献综述，但在公平比较设置下对DAL方法的性能评估尚未可用。我们的工作打算填补这一空白。在这项工作中，我们通过重新实现19种引用的DAL方法来构建DAL Toolkit，即Deepal+。我们调查和分类与DAL相关的作品，并构建经常使用的数据集和DAL算法的比较实验。此外，我们探讨了影响DAL功效的一些因素（例如，批处理大小，训练过程中的时期数），这些因素为研究人员设计其DAL实验或执行DAL相关应用程序提供了更好的参考。

在汽车行业中，标记数据的匮乏是典型的挑战。注释的时间序列测量需要固体域知识和深入的探索性数据分析，这意味着高标签工作。传统的主动学习（AL）通过根据估计的分类概率积极查询最有用的实例来解决此问题，并在迭代中重新审视该模型。但是，学习效率强烈依赖于初始模型，从而导致初始数据集和查询编号的大小之间的权衡。本文提出了一个新颖的几杆学习（FSL）基于AL框架，该框架通过将原型网络（Protonet）纳入AL迭代来解决权衡问题。一方面，结果表明了对初始模型的鲁棒性，另一方面，通过在每种迭代中的支持设置的主动选择方面的学习效率。该框架已在UCI HAR/HAPT数据集​​和现实世界制动操纵数据集上进行了验证。学习绩效在两个数据集上都显着超过了传统的AL算法，分别以10％和5％的标签工作实现了90％的分类精度。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

注意力指导是一种解决深度学习中数据集偏见的方法，该模型依赖于错误的功能来做出决策。为了关注图像分类任务，我们提出了一个有效的人类在环境系统中，以交互性地将分类器的注意力引向用户指定的区域，从而降低了共发生偏见的影响，并提高了DNN的可传递性和可解释性。以前的注意力指导需要准备像素级注释，而不是被设计为交互式系统。我们提出了一种新的交互式方法，可让用户简单地点击注释图像，并研究一种新颖的主动学习策略，以显着减少注释的数量。我们既进行了数值评估，又进行了用户研究，以评估多个数据集上提出的系统。与现有的非活性学习方法相比，通常依靠大量基于多边形的分割口罩来微调或训练DNNS，我们的系统可以节省大量的劳动力和金钱，并获得一个效用更好的网络即使数据集有偏见。实验结果表明，所提出的系统是有效，合理且可靠的。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

自治机器人目前是最受欢迎的人工智能问题之一，在过去十年中，从自动驾驶汽车和人形系统到交付机器人和无人机，这是一项最受欢迎的智能问题。部分问题是获得一个机器人，以模仿人类的感知，我们的视觉感，用诸如神经网络等数学模型用相机和大脑的眼睛替换眼睛。开发一个能够在没有人为干预的情况下驾驶汽车的AI和一个小型机器人在城市中递送包裹可能看起来像不同的问题，因此来自感知和视觉的观点来看，这两个问题都有几种相似之处。我们目前的主要解决方案通过使用计算机视觉技术，机器学习和各种算法来实现对环境感知的关注，使机器人理解环境或场景，移动，调整其轨迹并执行其任务（维护，探索，等。）无需人为干预。在这项工作中，我们从头开始开发一个小型自动车辆，能够仅使用视觉信息理解场景，通过工业环境导航，检测人员和障碍，或执行简单的维护任务。我们审查了基本问题的最先进问题，并证明了小规模采用的许多方法类似于来自特斯拉或Lyft等公司的真正自动驾驶汽车中使用的方法。最后，我们讨论了当前的机器人和自主驾驶状态以及我们在这一领域找到的技术和道德限制。

机器学习（ML）为生物处理工程的发展做出了重大贡献，但其应用仍然有限，阻碍了生物过程自动化的巨大潜力。用于模型构建自动化的ML可以看作是引入另一种抽象水平的一种方式，将专家的人类集中在生物过程开发的最认知任务中。首先，概率编程用于预测模型的自动构建。其次，机器学习会通过计划实验来测试假设并进行调查以收集信息性数据来自动评估替代决策，以收集基于模型预测不确定性的模型选择的信息数据。这篇评论提供了有关生物处理开发中基于ML的自动化的全面概述。一方面，生物技术和生物工程社区应意识到现有ML解决方案在生物技术和生物制药中的应用的限制。另一方面，必须确定缺失的链接，以使ML和人工智能（AI）解决方案轻松实施在有价值的生物社区解决方案中。我们总结了几个重要的生物处理系统的ML实施，并提出了两个至关重要的挑战，这些挑战仍然是生物技术自动化的瓶颈，并减少了生物技术开发的不确定性。没有一个合适的程序；但是，这项综述应有助于确定结合生物技术和ML领域的潜在自动化。

我们提出了一种新颖的方法，即沙拉，用于将预先训练的“源”域网络适应“目标”域的挑战性视觉任务，在“目标”域中注释的预算很小，标签空间的变化。此外，该任务假定由于隐私问题或其他方式，源数据无法适应。我们假设这样的系统需要共同优化（i）从目标域中选择固定数量的样本以进行注释的双重任务，以及（ii）知识从预训练的网络转移到目标域。为此，沙拉由一个新颖的引导注意转移网络（GATN）和一个主动学习功能组成。 GATN启用了从预训练的网络到目标网络的特征蒸馏，并与HAL采用的转移性和不确定性标准相辅相成。沙拉有三个关键的好处：（i）它是任务不合时宜的，可以在各种视觉任务（例如分类，分割和检测）中应用； （ii）它可以处理从预训练的源网络到目标域的输出标签空间的变化； （iii）它不需要访问源数据进行适应。我们对3个视觉任务进行了广泛的实验，即。数字分类（MNIST，SVHN，VISDA），合成（GTA5）与真实（CityScapes）图像分割和文档布局检测（PublayNet to DSSE）。我们表明，我们的无源方法（沙拉）比先前的适应方法提高了0.5％-31.3％（跨数据集和任务），该方法假设访问大量带注释的源数据以进行适应。

使用计算机视觉对间接费用的分析是一个问题，在学术文献中受到了很大的关注。在这个领域运行的大多数技术都非常专业，需要大型数据集的昂贵手动注释。这些问题通过开发更通用的框架来解决这些问题，并结合了表示学习的进步，该框架可以更灵活地分析具有有限标记数据的新图像类别。首先，根据动量对比机制创建了未标记的空中图像数据集的强大表示。随后，通过构建5个标记图像的准确分类器来专门用于不同的任务。从6000万个未标记的图像中，成功的低水平检测城市基础设施进化，体现了我们推进定量城市研究的巨大潜力。

时间动作定位（TAL）旨在预测未修剪视频（即开始和结束时间）中动作实例的动作类别和时间边界。通常在大多数现有作品中都采用了完全监督的解决方案，并被证明是有效的。这些解决方案中的实际瓶颈之一是所需的大量标记培训数据。为了降低昂贵的人类标签成本，本文着重于很少调查但实用的任务，称为半监督TAL，并提出了一种有效的主动学习方法，名为Al-Stal。我们利用四个步骤来积极选择具有很高信息性的视频样本，并培训本地化模型，名为\ emph {火车，查询，注释，附加}。考虑定位模型的不确定性的两个评分函数配备了ALSTAL，从而促进了视频样本等级和选择。一个人将预测标签分布的熵作为不确定性的度量，称为时间提案熵（TPE）。另一个引入了基于相邻行动建议之间的共同信息的新指标，并评估视频样本的信息性，称为时间上下文不一致（TCI）。为了验证拟议方法的有效性，我们在两个基准数据集Thumos'14和ActivityNet 1.3上进行了广泛的实验。实验结果表明，与完全监督的学习相比，AL-Stal的表现优于现有竞争对手，并实现令人满意的表现。

深度神经网络对物体检测达到了高精度，但它们的成功铰链大量标记数据。为了减少标签依赖性，已经提出了各种主动学习策略，通常基于探测器的置信度。但是，这些方法偏向于高性能类，并且可以导致获取的数据集不是测试集数据的代表不好。在这项工作中，我们提出了一个统一的主动学习框架，这考虑了探测器的不确定性和鲁棒性，确保网络在所有类中表现良好。此外，我们的方法利用自动标记来抑制潜在的分布漂移，同时提高模型的性能。 Pascal VOC07 ​​+ 12和MS-Coco的实验表明，我们的方法始终如一地优于各种活跃的学习方法，在地图中产生高达7.7％，或降低标记成本的82％。代码将在接受纸张时发布。