深度神经网络（DNNS）已成为现代软件系统的关键组成部分，但是在与训练期间观察到的条件不同的条件下，它们很容易失败，或者对真正模棱两可的输入，即。 ，在其地面真实标签中接受多个类别的多个类别的输入。最近的工作提出了DNN主管在可能的错误分类之前检测高确定性输入会导致任何伤害。为了测试和比较DNN主管的能力，研究人员提出了测试生成技术，将测试工作集中在高度确定性输入上，这些输入应被主管识别为异常。但是，现有的测试发电机只能产生分布式输入。没有现有的模型和主管与无关的技术支持真正模棱两可的测试输入。在本文中，我们提出了一种新的方法来生成模棱两可的输入来测试DNN主管，并将其用于比较几种现有的主管技术。特别是，我们建议歧义生成图像分类问题的模棱两可的样本。模棱两可的基于正规化对抗自动编码器的潜在空间中的梯度引导采样。此外，据我们所知，我们进行了最广泛的DNN主管比较研究，考虑到它们可以检测到4种不同类型的高级输入（包括真正模棱两可的）的能力。

Deep Neural Networks (DNN) are increasingly used as components of larger software systems that need to process complex data, such as images, written texts, audio/video signals. DNN predictions cannot be assumed to be always correct for several reasons, among which the huge input space that is dealt with, the ambiguity of some inputs data, as well as the intrinsic properties of learning algorithms, which can provide only statistical warranties. Hence, developers have to cope with some residual error probability. An architectural pattern commonly adopted to manage failure-prone components is the supervisor, an additional component that can estimate the reliability of the predictions made by untrusted (e.g., DNN) components and can activate an automated healing procedure when these are likely to fail, ensuring that the Deep Learning based System (DLS) does not cause damages, despite its main functionality being suspended. In this paper, we consider DLS that implement a supervisor by means of uncertainty estimation. After overviewing the main approaches to uncertainty estimation and discussing their pros and cons, we motivate the need for a specific empirical assessment method that can deal with the experimental setting in which supervisors are used, where the accuracy of the DNN matters only as long as the supervisor lets the DLS continue to operate. Then we present a large empirical study conducted to compare the alternative approaches to uncertainty estimation. We distilled a set of guidelines for developers that are useful to incorporate a supervisor based on uncertainty monitoring into a DLS.

Testing Deep Learning (DL) based systems inherently requires large and representative test sets to evaluate whether DL systems generalise beyond their training datasets. Diverse Test Input Generators (TIGs) have been proposed to produce artificial inputs that expose issues of the DL systems by triggering misbehaviours. Unfortunately, such generated inputs may be invalid, i.e., not recognisable as part of the input domain, thus providing an unreliable quality assessment. Automated validators can ease the burden of manually checking the validity of inputs for human testers, although input validity is a concept difficult to formalise and, thus, automate. In this paper, we investigate to what extent TIGs can generate valid inputs, according to both automated and human validators. We conduct a large empirical study, involving 2 different automated validators, 220 human assessors, 5 different TIGs and 3 classification tasks. Our results show that 84% artificially generated inputs are valid, according to automated validators, but their expected label is not always preserved. Automated validators reach a good consensus with humans (78% accuracy), but still have limitations when dealing with feature-rich datasets.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

当图像分类器输出错误的类标签时，可以有助于查看图像中的更改会导致正确的分类。这是产生反事实解释的算法。但是，没有易于可扩展的方法来产生这种反应性。我们开发了一种新的算法，为以低计算成本训练的大图像分类器提供了反事实解释。我们经验与文献中的基线进行了对该算法的比较;我们的小说算法一致地找到了更接近原始输入的反事实。与此同时，这些反事实的现实主义与基线相当。所有实验的代码都可以在https://github.com/benedikthoeltgen/deduce提供。

深度神经网络（DNN）已广泛用于许多领域，包括图像处理，医疗诊断和自主驾驶。然而，DNN可以表现出可能导致严重错误的错误行为，特别是在安全关键系统中使用时。灵感来自传统软件系统的测试技术，研究人员提出了神经元覆盖标准，作为比喻源代码覆盖率，以指导DNN模型的测试。尽管对DNN覆盖范围非常积极的研究，但最近的几项研究质疑此类标准在指导DNN测试中的有用性。此外，从实际的角度来看，这些标准是白盒，因为它们需要访问DNN模型的内部或培训数据，这在许多情况下不可行或方便。在本文中，我们将黑盒输入分集度量调查为白盒覆盖标准的替代品。为此，我们首先以受控方式选择和适应三个分集指标和学习它们在输入集中测量实际分集的能力。然后，我们使用两个数据集和三个DNN模型分析其与故障检测的统计关联。我们进一步比较了与最先进的白盒覆盖标准的多样性。我们的实验表明，依赖于测试输入集中嵌入的图像特征的多样性是比覆盖标准更可靠的指示，以有效地指导DNN的测试。事实上，我们发现我们选定的黑盒子分集度量的一个远远超出了现有的覆盖范围，以便在发生故障泄露能力和计算时间方面。结果还确认了疑似，最先进的覆盖度量指标不足以指导测试输入集的构建，以检测尽可能多的自然输入的故障。

深度神经网络（DNN）应用越来越多地成为我们日常生活的一部分，从医疗应用到自动车辆。 DNN的传统验证依赖于准确度措施，然而，对抗示例的存在突出了这些准确度措施的局限性，特别是当DNN集成到安全关键系统中时提出担忧。在本文中，我们呈现HOMRS，一种通过自动构建从一组初始变质关系构建小型优化的高阶变质关系来提振变质测试的方法。 Homrs的骨干是一个多目标搜索;它利用传统系统测试中绘制的想法，例如代码覆盖，测试用例，路径分集以及输入验证。我们将HOMRS应用于MNIST / LENET和SVHN / VGG，我们报告了它的证据表明它建立了一个小而有效的高阶变换，概括到输入数据分布很好。此外，与诸如DeepXplore的类似的生成技术相比，我们表明我们的分发的方法更有效，从不确定量化的观点产生有效的变换，同时通过利用方法的泛化能力来实现更少的计算时间。

We present an approach to quantifying both aleatoric and epistemic uncertainty for deep neural networks in image classification, based on generative adversarial networks (GANs). While most works in the literature that use GANs to generate out-of-distribution (OoD) examples only focus on the evaluation of OoD detection, we present a GAN based approach to learn a classifier that produces proper uncertainties for OoD examples as well as for false positives (FPs). Instead of shielding the entire in-distribution data with GAN generated OoD examples which is state-of-the-art, we shield each class separately with out-of-class examples generated by a conditional GAN and complement this with a one-vs-all image classifier. In our experiments, in particular on CIFAR10, CIFAR100 and Tiny ImageNet, we improve over the OoD detection and FP detection performance of state-of-the-art GAN-training based classifiers. Furthermore, we also find that the generated GAN examples do not significantly affect the calibration error of our classifier and result in a significant gain in model accuracy.

随着人工智能的最新进展，可以在人类日常生活的各个方面看到其应用。从语音助手到移动医疗保健和自动驾驶，我们依靠AI方法的性能来完成许多关键任务；因此，必须以适当的手段进行预防损坏的方式主张模型的性能。通常，AI模型的短缺，尤其是深度机器学习，当面对数据分布的变化时，性能下降。尽管如此，在现实世界应用中始终期望这些转变。因此，已经出现了一个研究领域，重点是检测分布外数据子集并实现更全面的概括。此外，由于许多基于深度学习的模型在基准数据集上取得了近乎完美的结果，因此需要评估这些模型的可靠性和可靠性以推向现实世界应用程序的需求，这比以往任何时候都更加强烈。这引起了越来越多的研究领域的研究和领域的概括，这引起了对从各个角度比较这些研究进行比较的调查的需求，并突出了它们的平直和弱点。本文提出了一项调查，除了审查该领域的70多篇论文外，还提出了未来作品的挑战和方向，并为各种类型的数据转移和解决方案提供了统一的外观，以更好地泛化。

已知现代深度神经网络模型将错误地将分布式（OOD）测试数据分类为具有很高信心的分数（ID）培训课程之一。这可能会对关键安全应用产生灾难性的后果。一种流行的缓解策略是训练单独的分类器，该分类器可以在测试时间检测此类OOD样本。在大多数实际设置中，在火车时间尚不清楚OOD的示例，因此，一个关键问题是：如何使用合成OOD样品来增加ID数据以训练这样的OOD检测器？在本文中，我们为称为CNC的OOD数据增强提出了一种新颖的复合腐败技术。 CNC的主要优点之一是，除了培训集外，它不需要任何固定数据。此外，与当前的最新技术（SOTA）技术不同，CNC不需要在测试时间进行反向传播或结合，从而使我们的方法在推断时更快。我们与过去4年中主要会议的20种方法进行了广泛的比较，表明，在OOD检测准确性和推理时间方面，使用基于CNC的数据增强训练的模型都胜过SOTA。我们包括详细的事后分析，以研究我们方法成功的原因，并确定CNC样本的较高相对熵和多样性是可能的原因。我们还通过对二维数据集进行零件分解分析提供理论见解，以揭示（视觉和定量），我们的方法导致ID类别周围的边界更紧密，从而更好地检测了OOD样品。源代码链接：https：//github.com/cnc-ood

分布（OOD）检测对于确保机器学习系统的可靠性和安全性至关重要。例如，在自动驾驶中，我们希望驾驶系统在发现在训练时间中从未见过的异常​​场景或对象时，发出警报并将控件移交给人类，并且无法做出安全的决定。该术语《 OOD检测》于2017年首次出现，此后引起了研究界的越来越多的关注，从而导致了大量开发的方法，从基于分类到基于密度到基于距离的方法。同时，其他几个问题，包括异常检测（AD），新颖性检测（ND），开放式识别（OSR）和离群检测（OD）（OD），在动机和方法方面与OOD检测密切相关。尽管有共同的目标，但这些主题是孤立发展的，它们在定义和问题设定方面的细微差异通常会使读者和从业者感到困惑。在这项调查中，我们首先提出一个称为广义OOD检测的统一框架，该框架涵盖了上述五个问题，即AD，ND，OSR，OOD检测和OD。在我们的框架下，这五个问题可以看作是特殊情况或子任务，并且更容易区分。然后，我们通过总结了他们最近的技术发展来审查这五个领域中的每一个，特别关注OOD检测方法。我们以公开挑战和潜在的研究方向结束了这项调查。

良好的培训数据是开发有用的ML应用程序的先决条件。但是，在许多域中，现有数据集不能由于隐私法规（例如，从医学研究）而被共享。这项工作调查了一种简单而非规范的方法，可以匿名数据综合来使第三方能够受益于此类私人数据。我们探讨了从不切实际，任务相关的刺激中隐含地学习的可行性，这通过激发训练有素的深神经网络（DNN）的神经元来合成。因此，神经元励磁用作伪生成模型。刺激数据用于培训新的分类模型。此外，我们将此框架扩展以抑制与特定个人相关的表示。我们使用开放和大型闭合临床研究的睡眠监测数据，并评估（1）最终用户是否可以创建和成功使用定制分类模型进行睡眠呼吸暂停检测，并且（2）研究中参与者的身份受到保护。广泛的比较实证研究表明，在刺激上培训的不同算法能够在与原始模型相同的任务上成功概括。然而，新和原始模型之间的架构和算法相似性在性能方面发挥着重要作用。对于类似的架构，性能接近使用真实数据（例如，精度差为0.56 \％，Kappa系数差为0.03-0.04）。进一步的实验表明，刺激可以在很大程度上成功地匿名匿名研究临床研究的参与者。

不确定性量化（UQ）对于创建值得信赖的机器学习模型至关重要。近年来，UQ方法急剧上升，可以标记可疑的例子，但是，通常不清楚这些方法确切地识别出什么。在这项工作中，我们提出了一种假设轻型方法来解释UQ模型本身。我们介绍了混淆密度矩阵 - 基于内核的错误分类密度的近似 - 并使用它将给定UQ方法识别的可疑示例分类为三类：分布外（OOD）示例，边界（BND）（BND）示例和较高分布错误分类（IDM）地区的示例。通过广泛的实验，我们阐明了现有的UQ方法，并表明了模型之间不确定性的原因有所不同。此外，我们展示了建议的框架如何利用分类的示例来提高预测性能。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

The usage of deep neural networks in safety-critical systems is limited by our ability to guarantee their correct behavior. Runtime monitors are components aiming to identify unsafe predictions and discard them before they can lead to catastrophic consequences. Several recent works on runtime monitoring have focused on out-of-distribution (OOD) detection, i.e., identifying inputs that are different from the training data. In this work, we argue that OOD detection is not a well-suited framework to design efficient runtime monitors and that it is more relevant to evaluate monitors based on their ability to discard incorrect predictions. We call this setting out-ofmodel-scope detection and discuss the conceptual differences with OOD. We also conduct extensive experiments on popular datasets from the literature to show that studying monitors in the OOD setting can be misleading: 1. very good OOD results can give a false impression of safety, 2. comparison under the OOD setting does not allow identifying the best monitor to detect errors. Finally, we also show that removing erroneous training data samples helps to train better monitors.

Deep learning (DL) systems are increasingly deployed in safety-and security-critical domains including self-driving cars and malware detection, where the correctness and predictability of a system's behavior for corner case inputs are of great importance. Existing DL testing depends heavily on manually labeled data and therefore often fails to expose erroneous behaviors for rare inputs.We design, implement, and evaluate DeepXplore, the first whitebox framework for systematically testing real-world DL systems. First, we introduce neuron coverage for systematically measuring the parts of a DL system exercised by test inputs. Next, we leverage multiple DL systems with similar functionality as cross-referencing oracles to avoid manual checking. Finally, we demonstrate how finding inputs for DL systems that both trigger many differential behaviors and achieve high neuron coverage can be represented as a joint optimization problem and solved efficiently using gradientbased search techniques.DeepXplore efficiently finds thousands of incorrect corner case behaviors (e.g., self-driving cars crashing into guard rails and malware masquerading as benign software) in stateof-the-art DL models with thousands of neurons trained on five popular datasets including ImageNet and Udacity selfdriving challenge data. For all tested DL models, on average, DeepXplore generated one test input demonstrating incorrect behavior within one second while running only on a commodity laptop. We further show that the test inputs generated by DeepXplore can also be used to retrain the corresponding DL model to improve the model's accuracy by up to 3%.

最先进的语义或实例分割深度神经网络（DNN）通常在封闭的语义类上培训。因此，它们的装备不适用于处理以前的未持续的对象。然而，检测和定位这些物体对于安全关键应用至关重要，例如对自动驾驶的感知，特别是如果它们出现在前方的道路上。虽然某些方法已经解决了异常或分发的对象分割的任务，但由于缺乏固体基准，在很大程度上存在进展仍然缓慢;现有数据集由合成数据组成，或遭受标签不一致。在本文中，我们通过介绍“SegmentMeifyOUCAN”基准来弥合这个差距。我们的基准解决了两个任务：异常对象分割，这将考虑任何以前的未持续的对象类别;和道路障碍分割，它侧重于道路上的任何物体，可能是已知的或未知的。我们将两个相应的数据集与执行深入方法分析的测试套件一起提供，考虑到已建立的像素 - 明智的性能度量和最近的组件 - 明智的，这对对象尺寸不敏感。我们凭经验评估了多种最先进的基线方法，包括使用我们的测试套件在我们的数据集和公共数据上专门为异常/障碍分割而设计的多种型号。异常和障碍分割结果表明，我们的数据集有助于数据景观的多样性和难度。

在运行时检测新颖类的问题称为开放式检测，对于各种现实世界应用，例如医疗应用，自动驾驶等。在深度学习的背景下进行开放式检测涉及解决两个问题：（i）：（i）必须将输入图像映射到潜在表示中，该图像包含足够的信息来检测异常值，并且（ii）必须学习一个可以从潜在表示中提取此信息以识别异常情况的异常评分函数。深度异常检测方法的研究缓慢进展。原因之一可能是大多数论文同时引入了新的表示学习技术和新的异常评分方法。这项工作的目的是通过提供分别衡量表示学习和异常评分的有效性的方法来改善这种方法。这项工作做出了两项方法论贡献。首先是引入甲骨文异常检测的概念，以量化学习潜在表示中可用的信息。第二个是引入Oracle表示学习，该学习产生的表示形式可以保证足以准确的异常检测。这两种技术可帮助研究人员将学习表示的质量与异常评分机制的性能分开，以便他们可以调试和改善系统。这些方法还为通过更好的异常评分机制改善了多少开放类别检测提供了上限。两个牙齿的组合给出了任何开放类别检测方法可以实现的性能的上限。这项工作介绍了这两种Oracle技术，并通过将它们应用于几种领先的开放类别检测方法来演示其实用性。

Deep learning (DL) has become a driving force and has been widely adopted in many domains and applications with competitive performance. In practice, to solve the nontrivial and complicated tasks in real-world applications, DL is often not used standalone, but instead contributes as a piece of gadget of a larger complex AI system. Although there comes a fast increasing trend to study the quality issues of deep neural networks (DNNs) at the model level, few studies have been performed to investigate the quality of DNNs at both the unit level and the potential impacts on the system level. More importantly, it also lacks systematic investigation on how to perform the risk assessment for AI systems from unit level to system level. To bridge this gap, this paper initiates an early exploratory study of AI system risk assessment from both the data distribution and uncertainty angles to address these issues. We propose a general framework with an exploratory study for analyzing AI systems. After large-scale (700+ experimental configurations and 5000+ GPU hours) experiments and in-depth investigations, we reached a few key interesting findings that highlight the practical need and opportunities for more in-depth investigations into AI systems.