机器学习模型可能涉及决策边界，这些界限由于对规则和规则的更新而随时间而变化，例如在贷款批准或索赔管理中。然而，在这种情况下，可能需要足够的训练数据来累积时的时间，以便重新恢复模型以反映新的决策边界。虽然已经完成了加强现有决策边界的工作，但已经介绍了ML模型的决策边界应该改变的这些方案，以便反映新规则。在本文中，我们专注于用户提供的反馈规则作为加快ML模型更新过程的方式，我们正式介绍预处理训练数据的问题，以响应于反馈规则，使得模型一旦模型在预处理的数据上被培训，其决策边界与规则更紧密地对齐。为了解决这个问题，我们提出了一种新的数据增强方法，基于反馈规则的过采样技术。使用不同ML模型和现实世界数据集的广泛实验证明了该方法的有效性，特别是增强的好处和处理许多反馈规则的能力。

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

我们查看模型可解释性的特定方面：模型通常需要限制在大小上才能被认为是可解释的，例如，深度5的决策树比深度50中的一个更容易解释。但是，较小的模型也倾向于高偏见。这表明可解释性和准确性之间的权衡。我们提出了一种模型不可知论技术，以最大程度地减少这种权衡。我们的策略是首先学习甲骨文，这是培训数据上高度准确的概率模型。 Oracle预测的不确定性用于学习培训数据的抽样分布。然后，对使用此分布获得的数据样本进行了可解释的模型，通常会导致精确度明显更高。我们将抽样策略作为优化问题。我们的解决方案1具有以下关键的有利属性：（1）它使用固定数量的七个优化变量，而与数据的维度（2）无关，它是模型不可知的 - 因为可解释的模型和甲骨文都可能属于任意性模型家族（3）它具有模型大小的灵活概念，并且可以容纳向量大小（4）它是一个框架，使其能够从优化领域的进度中受益。我们还提出了以下有趣的观察结果：（a）通常，小型模型大小的最佳训练分布与测试分布不同； （b）即使可解释的模型和甲骨文来自高度截然不同的模型家族，也存在这种效果：我们通过使用封闭的复发单位网络作为甲骨文来提高决策树的序列分类精度，从而在文本分类任务上显示此效果。使用字符n-grams； （c）对于模型，我们的技术可用于确定给定样本量的最佳训练样本。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

为了提高模型透明度并允许用户形成训练有素的ML模型的心理模型，解释对AI和机器学习（ML）社区的兴趣越来越高。但是，解释可以超越这种方式通信作为引起用户控制的机制，因为一旦用户理解，他们就可以提供反馈。本文的目的是介绍研究概述，其中解释与交互式功能相结合，是从头开始学习新模型并编辑和调试现有模型的手段。为此，我们绘制了最先进的概念图，根据其预期目的以及它们如何构建相互作用，突出它们之间的相似性和差异来分组相关方法。我们还讨论开放研究问题并概述可能的方向，希望促使人们对这个开花研究主题进行进一步的研究。

算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

尽管机器学习取得了巨大进步（ML），但数据不平衡的培训仍然在许多现实世界中构成挑战。在解决此问题的一系列不同技术中，采样算法被视为有效的解决方案。但是，问题更为根本，许多作品强调了实例硬度的重要性。这个问题是指管理不安全或可能嘈杂的实例的重要性，这些实例更可能被错误分类并作为分类绩效不佳的根本原因。本文介绍了Hardvis，这是一种视觉分析系统，旨在处理实例硬度，主要在分类场景中。我们提出的系统协助用户在视觉上比较数据类型的不同分布，根据局部特征选择实例类型，这些实例后来将受主动采样方法的影响，并验证来自底漆或过采样技术的建议对ML模型有益。此外，我们允许用户找到和采样轻松且难以对所有课程的培训实例进行分类，而不是统一地采样/过采样。用户可以从不同角度探索数据子集以决定所有这些参数，而HardVis则跟踪其步骤并评估模型在测试集中分别评估模型的预测性能。最终结果是一个均衡的数据集，可增强ML模型的预测能力。通过假设使用情况和用例证明了Hardvis的功效和有效性。最后，我们还研究了系统的有用，基于我们从ML专家那里收到的反馈。

从课堂上学习不平衡数据集对许多机器学习算法带来了挑战。许多现实世界域通过定义，通过拥有多数阶级的多数阶级，自然具有比其少数级别更多的阶级（例如，真正的银行交易比欺诈性更频繁）。已经提出了许多方法来解决类别不平衡问题，其中最受欢迎的过采样技术（例如Smote）。这些方法在少数群体类中生成合成实例，以平衡数据集，执行提高预测机器学习（ML）模型的性能的数据增强。在本文中，我们推进了一种新的数据增强方法（改编自解释的AI），它在少数类中生成合成，反事实情况。与其他过采样技术不同，该方法使用实际特征值，而不是实例之间的内插值，自适应地将存在于数据集的实例。报告了使用四种不同分类器和25个数据集的几个实验，这表明该反事实增强方法（CFA）在少数类中生成有用的合成数据点。实验还表明，CFA与许多其他过采样方法具有竞争力，其中许多过采样方法是Smote的变种。讨论了CFAS性能的基础，以及在未来测试中可能更好或更糟的情况下的条件。

数据通常以表格格式存储。几个研究领域（例如，生物医学，断层/欺诈检测），容易出现不平衡的表格数据。由于阶级失衡，对此类数据的监督机器学习通常很困难，从而进一步增加了挑战。合成数据生成，即过采样是一种用于提高分类器性能的常见补救措施。最先进的线性插值方法，例如洛拉斯和普罗拉斯，可用于从少数族裔类的凸空间中生成合成样本，以在这种情况下提高分类器的性能。生成的对抗网络（GAN）是合成样本生成的常见深度学习方法。尽管GAN被广泛用于合成图像生成，但在不平衡分类的情况下，它们在表格数据上的范围没有充分探索。在本文中，我们表明，与线性插值方法相比，现有的深层生成模型的性能较差，该方法从少数族裔类的凸空间中生成合成样本，对于小规模的表格数据集中的分类问题不平衡。我们提出了一个深厚的生成模型，将凸出空间学习和深层生成模型的思想结合在一起。 Convgen了解了少数族类样品的凸组合的系数，因此合成数据与多数类的不同。我们证明，与现有的深层生成模型相比，我们提出的模型Convgen在与现有的线性插值方法相当的同时，改善了此类小数据集的不平衡分类。此外，我们讨论了如何将模型用于一般的综合表格数据生成，甚至超出了数据不平衡的范围，从而提高了凸空间学习的整体适用性。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

在文献中提出了各种各样的公平度量和可解释的人工智能（XAI）方法，以确定在关键现实环境中使用的机器学习模型中的偏差。但是，仅报告模型的偏差，或使用现有XAI技术生成解释不足以定位并最终减轻偏差源。在这项工作中，我们通过识别对这种行为的根本原因的训练数据的连贯子集来引入Gopher，该系统产生紧凑，可解释和意外模型行为的偏差或意外模型行为。具体而言，我们介绍了因果责任的概念，这些责任通过删除或更新其数据集来解决培训数据的程度可以解决偏差。建立在这一概念上，我们开发了一种有效的方法，用于生成解释模型偏差的顶级模式，该模型偏置利用来自ML社区的技术来实现因果责任，并使用修剪规则来管理模式的大搜索空间。我们的实验评估表明了Gopher在为识别和调试偏置来源产生可解释解释时的有效性。

近年来，计算机视觉社区中最受欢迎的技术之一就是深度学习技术。作为一种数据驱动的技术，深层模型需要大量准确标记的培训数据，这在许多现实世界中通常是无法访问的。数据空间解决方案是数据增强（DA），可以人为地从原始样本中生成新图像。图像增强策略可能因数据集而有所不同，因为不同的数据类型可能需要不同的增强以促进模型培训。但是，DA策略的设计主要由具有领域知识的人类专家决定，这被认为是高度主观和错误的。为了减轻此类问题，一个新颖的方向是使用自动数据增强（AUTODA）技术自动从给定数据集中学习图像增强策略。 Autoda模型的目的是找到可以最大化模型性能提高的最佳DA策略。这项调查从图像分类的角度讨论了Autoda技术出现的根本原因。我们确定标准自动赛车模型的三个关键组件：搜索空间，搜索算法和评估功能。根据他们的架构，我们提供了现有图像AUTODA方法的系统分类法。本文介绍了Autoda领域的主要作品，讨论了他们的利弊，并提出了一些潜在的方向以进行未来的改进。

Multi-label classification is becoming increasingly ubiquitous, but not much attention has been paid to interpretability. In this paper, we develop a multi-label classifier that can be represented as a concise set of simple "if-then" rules, and thus, it offers better interpretability compared to black-box models. Notably, our method is able to find a small set of relevant patterns that lead to accurate multi-label classification, while existing rule-based classifiers are myopic and wasteful in searching rules,requiring a large number of rules to achieve high accuracy. In particular, we formulate the problem of choosing multi-label rules to maximize a target function, which considers not only discrimination ability with respect to labels, but also diversity. Accounting for diversity helps to avoid redundancy, and thus, to control the number of rules in the solution set. To tackle the said maximization problem we propose a 2-approximation algorithm, which relies on a novel technique to sample high-quality rules. In addition to our theoretical analysis, we provide a thorough experimental evaluation, which indicates that our approach offers a trade-off between predictive performance and interpretability that is unmatched in previous work.

超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。

机器学习已随着医疗，法律和运输等各种安全领域的应用而无所不在。在这些领域中，机器学习提供的高风险决策需要研究人员设计可解释的模型，在该模型中，预测对人类是可以理解的。在可解释的机器学习中，基于规则的分类器在通过包含输入功能的一组规则来表示决策边界方面特别有效。基于规则的分类器的解释性通常与规则的规模有关，其中较小的规则被认为更容易解释。要学习这样的分类器，蛮力的直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确性的最小分类规则。由于其组合性质，该优化问题在计算上是可悲的，因此，在大型数据集中，该问题无法扩展。为此，在本文中，我们研究了基于学习规则的分类器的准确性，可解释性和可伸缩性之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大的满意度（MAXSAT），用于在命题逻辑中表达的合成分类规则。尽管在过去十年中MaxSat解决方案取得了进展，但基于最直接的MaxSat解决方案仍无法扩展。因此，我们通过整合迷你批次学习和迭代规则学习，将有效的增量学习技术纳入了MaxSAT公式中。在我们的实验中，IMLI在预测准确性，可解释性和可伸缩性之间取得了最佳平衡。作为一个应用程序，我们将IMLI部署在学习流行的可解释分类器（例如决策清单和决策集）中。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

Labeling a module defective or non-defective is an expensive task. Hence, there are often limits on how much-labeled data is available for training. Semi-supervised classifiers use far fewer labels for training models, but there are numerous semi-supervised methods, including self-labeling, co-training, maximal-margin, and graph-based methods, to name a few. Only a handful of these methods have been tested in SE for (e.g.) predicting defects and even that, those tests have been on just a handful of projects. This paper takes a wide range of 55 semi-supervised learners and applies these to over 714 projects. We find that semi-supervised "co-training methods" work significantly better than other approaches. However, co-training needs to be used with caution since the specific choice of co-training methods needs to be carefully selected based on a user's specific goals. Also, we warn that a commonly-used co-training method ("multi-view"-- where different learners get different sets of columns) does not improve predictions (while adding too much to the run time costs 11 hours vs. 1.8 hours). Those cautions stated, we find using these "co-trainers," we can label just 2.5% of data, then make predictions that are competitive to those using 100% of the data. It is an open question worthy of future work to test if these reductions can be seen in other areas of software analytics. All the codes used and datasets analyzed during the current study are available in the https://GitHub.com/Suvodeep90/Semi_Supervised_Methods.

Motivated by the growing importance of reducing unfairness in ML predictions, Fair-ML researchers have presented an extensive suite of algorithmic 'fairness-enhancing' remedies. Most existing algorithms, however, are agnostic to the sources of the observed unfairness. As a result, the literature currently lacks guiding frameworks to specify conditions under which each algorithmic intervention can potentially alleviate the underpinning cause of unfairness. To close this gap, we scrutinize the underlying biases (e.g., in the training data or design choices) that cause observational unfairness. We present the conceptual idea and a first implementation of a bias-injection sandbox tool to investigate fairness consequences of various biases and assess the effectiveness of algorithmic remedies in the presence of specific types of bias. We call this process the bias(stress)-testing of algorithmic interventions. Unlike existing toolkits, ours provides a controlled environment to counterfactually inject biases in the ML pipeline. This stylized setup offers the distinct capability of testing fairness interventions beyond observational data and against an unbiased benchmark. In particular, we can test whether a given remedy can alleviate the injected bias by comparing the predictions resulting after the intervention in the biased setting with true labels in the unbiased regime-that is, before any bias injection. We illustrate the utility of our toolkit via a proof-of-concept case study on synthetic data. Our empirical analysis showcases the type of insights that can be obtained through our simulations.

越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。