New technologies and the availability of geospatial data have drawn attention to spatio-temporal biases present in society. For example: the COVID-19 pandemic highlighted disparities in the availability of broadband service and its role in the digital divide; the environmental justice movement in the United States has raised awareness to health implications for minority populations stemming from historical redlining practices; and studies have found varying quality and coverage in the collection and sharing of open-source geospatial data. Despite the extensive literature on machine learning (ML) fairness, few algorithmic strategies have been proposed to mitigate such biases. In this paper we highlight the unique challenges for quantifying and addressing spatio-temporal biases, through the lens of use cases presented in the scientific literature and media. We envision a roadmap of ML strategies that need to be developed or adapted to quantify and overcome these challenges -- including transfer learning, active learning, and reinforcement learning techniques. Further, we discuss the potential role of ML in providing guidance to policy makers on issues related to spatial fairness.
translated by 谷歌翻译
业务分析(BA)的广泛采用带来了财务收益和提高效率。但是,当BA以公正的影响为决定时,这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应,对算法公平性的新兴研究涉及算法输出,这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象,尤其是那些在历史上被边缘化的人。公平性是根据法律合规,社会责任和效用是相关的;如果不充分和系统地解决,不公平的BA系统可能会导致社会危害,也可能威胁到组织自己的生存,其竞争力和整体绩效。本文提供了有关算法公平的前瞻性,注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后,我们对公用事业关系的详细讨论进行了详细的讨论,强调经常假设这两种构造之间经常是错误的或短视的。最后,我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。
translated by 谷歌翻译
机器学习显着增强了机器人的能力,使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性,以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务,了解这种偏见的影响至关重要,以防止对某些人群的意外行为。在这项工作中,我们从跨学科的角度进行了关于机器人学习公平性的首次调查,该研究跨越了技术,道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例,我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义,道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作,我们旨在为公平机器人学习中的开创性发展铺平道路。
translated by 谷歌翻译
Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.
translated by 谷歌翻译
在理想的世界中,部署的机器学习模式将增强我们的社会。我们希望这些模型能够提供对每个人受益的无偏见和道德决策。然而,这并非总是如此;问题从数据策核流程到模型的部署时出现。继续使用偏见的数据集和流程将对社区产生不利影响并提高成本来解决问题。在这项工作中,我们通过决策过程,研究人员需要在他们的项目之前,期间和之后考虑研究和社区的更广泛影响。在本文中,我们遵守部署AI往往被忽视的关键决策,争论使用公平取证来发现系统中的偏见和公平问题,请断言负责任的人类循环将问责部署的系统,最后,反思了探索具有有害社会影响的研究议程的必要性。我们检查视觉隐私研究,并绘制可以广泛应用于人工智能的课程。我们的目标是提供对机器学习管道的系统分析,以获得视觉隐私和偏见问题。通过这个管道,我们希望培养利益相关者(例如,研究人员,建模者,公司)意识,因为这些问题在各种机器学习阶段传播。
translated by 谷歌翻译
在过去的五十年中,研究人员已经开发了设计和改进了应急响应管理(ERM)系统的统计,数据驱动,分析和算法方法。该问题已被认为是本质上的困难,并且构成了不确定性下的时空决策,这在文献中已经解决了不同的假设和方法。该调查提供了对这些方法的详细审查,重点关注有关四个子流程的关键挑战和问题:(a)事件预测,(b)入射检测,(c)资源分配,和(c)计算机辅助调度紧急响应。我们突出了该领域前后工作的优势和缺点,并探讨了不同建模范式之间的相似之处和差异。我们通过说明这种复杂领域未来研究的开放挑战和机会的结论。
translated by 谷歌翻译
这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此,我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战,这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题,旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作,包括决策者,建模者和潜在影响社区的成员,以严格评估数据驱动的算法的特定设计的合理性和使用系统。
translated by 谷歌翻译
COVID-19的大流行提出了对多个领域决策者的流行预测的重要性,从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测,但是它具有一些关键的差异,并且仍然是一项非平凡的任务。疾病的传播受到人类行为,病原体动态,天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议,捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作,这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步,并介绍了一个概念框架来导航它们。首先,我们列举了与流行病预测相关的大量流行病学数据集和新的数据流,捕获了各种因素,例如有症状的在线调查,零售和商业,流动性,基因组学数据等。接下来,我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式,以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战,包括预测信息。最后,我们重点介绍了整个预测管道中发现的一些挑战和开放问题。
translated by 谷歌翻译
随着全球人口越来越多的人口驱动世界各地的快速城市化,有很大的需要蓄意审议值得生活的未来。特别是,随着现代智能城市拥抱越来越多的数据驱动的人工智能服务,值得记住技术可以促进繁荣,福祉,城市居住能力或社会正义,而是只有当它具有正确的模拟补充时(例如竭尽全力,成熟机构,负责任治理);这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明,各种技术商业模式和特征实际上可以有助于极端主义,极化,错误信息和互联网成瘾等社会问题。鉴于这些观察,解决了确保了诸如未来城市技术基岩的安全,安全和可解释性的哲学和道德问题,以为未来城市的技术基岩具有至关重要的。在全球范围内,有能够更加人性化和以人为本的技术。在本文中,我们分析和探索了在人以人为本的应用中成功部署AI的安全,鲁棒性,可解释性和道德(数据和算法)挑战的关键挑战,特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查,并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制,陷阱和未来研究方向,以及如何填补当前的空白并导致更好的解决方案。我们认为,这种严谨的分析将为域名的未来研究提供基准。
translated by 谷歌翻译
Problem statement: Standardisation of AI fairness rules and benchmarks is challenging because AI fairness and other ethical requirements depend on multiple factors such as context, use case, type of the AI system, and so on. In this paper, we elaborate that the AI system is prone to biases at every stage of its lifecycle, from inception to its usage, and that all stages require due attention for mitigating AI bias. We need a standardised approach to handle AI fairness at every stage. Gap analysis: While AI fairness is a hot research topic, a holistic strategy for AI fairness is generally missing. Most researchers focus only on a few facets of AI model-building. Peer review shows excessive focus on biases in the datasets, fairness metrics, and algorithmic bias. In the process, other aspects affecting AI fairness get ignored. The solution proposed: We propose a comprehensive approach in the form of a novel seven-layer model, inspired by the Open System Interconnection (OSI) model, to standardise AI fairness handling. Despite the differences in the various aspects, most AI systems have similar model-building stages. The proposed model splits the AI system lifecycle into seven abstraction layers, each corresponding to a well-defined AI model-building or usage stage. We also provide checklists for each layer and deliberate on potential sources of bias in each layer and their mitigation methodologies. This work will facilitate layer-wise standardisation of AI fairness rules and benchmarking parameters.
translated by 谷歌翻译
在每日新兴科学调查和发现的世界中,跨行业的机器学习的多产推出对于熟悉ML潜力的人来说令人惊讶。这种伦理集中研究的一致性既不是对源于同一申请的偏见和不公平问题的回应而产生的。对抗算法偏差的技术的公平研究现在比以往任何时候都更加支持。大部分公平研究已经开始生产工具,即机器学习从业者可以在设计其算法时审核偏差。尽管如此,在实践中缺乏应用这些公平解决方案。该系统审查提供了已经定义的算法偏置问题的深入摘要,并提出了公平解决空间。此外,本综述提供了对溶液空间的深入崩溃,自释放以来出现的溶液空间以及机器学习从业者,公平研究人员和机构利益攸关方提出的需求的分类。这些需求已经组织并向各方组织并解决了其实施,包括公平研究人员,产生ML算法的组织以及机器学习从业者自己。这些发现可以在未来使用,以弥合从业者和公平专家之间的差距,并告知创建可用的展示展示率工具包。
translated by 谷歌翻译
Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.
translated by 谷歌翻译
本文总结并评估了追求人工智能(AI)系统公平性的各种方法,方法和技术。它检查了这些措施的优点和缺点,并提出了定义,测量和防止AI偏见的实际准则。特别是,它警告了一些简单而常见的方法来评估AI系统中的偏见,并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡,并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术,并定义了人类判断在设定这些目标中的作用。本文为AI从业者,组织领导者和政策制定者提供了讨论和指南,以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子,以从实际角度阐明概念,挑战和建议。
translated by 谷歌翻译
如今,由于最近在人工智能(AI)和机器学习(ML)中的近期突破,因此,智能系统和服务越来越受欢迎。然而,机器学习不仅满足软件工程,不仅具有有希望的潜力,而且还具有一些固有的挑战。尽管最近的一些研究努力,但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外,目前尚不清楚软件工程研究人员应将其努力集中起来,以更好地支持ML应用程序开发人员。在本文中,我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者(以不同的技能,经验和应用领域)获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题,以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.
translated by 谷歌翻译
受益于医疗保健数据的数字化和计算能力的发展,机器学习方法越来越多地用于医疗领域。在医疗保健机器学习中已经确定了公平性问题,导致对有限医疗资源的不公平分配或某些群体的健康风险过多。因此,解决公平问题最近引起了医疗保健社区的越来越多的关注。然而,机器学习的机器学习与机器学习中的公平性的交集仍在研究中。在这篇综述中,我们通过暴露公平问题,总结可能的偏见,整理缓解方法并指出挑战以及未来的机会来建立桥梁。
translated by 谷歌翻译
由于机器学习(ML)越来越影响人们和社会,因此还增加了对其潜在的不良后果的认识。为了预测,预防和减轻不良的下游后果,我们何时何地以及如何在整个ML生命周期中引入何时以及如何危害。在本文中,我们提供了一个框架,它在机器学习,跨越数据收集,开发和部署中识别七个不同的下游危害来源。在这样做时,我们的目标是促进周围这些问题的更高效和精确的沟通,以及更加直接的应用程序接地方式来减轻它们。
translated by 谷歌翻译
教育技术,以及他们部署的学校教育系统,制定了特定的意识形态,了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果,已经制定了各种方法来评估和减轻AI的有害影响。然而,我们争辩于本文认为,在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统(RE)生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头,以批判性地审查了几个普遍研究的和广泛采用的教育AI类别,并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景,为教育ai提供更公平的未来。
translated by 谷歌翻译
近年来,在各种应用程序中,在减轻决策中的不公平或歧视方面,公平感知机器学习的迅速发展。但是,对公平意识的多目标优化的关注要少得多,这确实是在现实生活中通常看到的,例如公平资源分配问题和数据驱动的多目标优化问题。本文旨在从公平的角度阐明和扩大我们对多目标优化的理解。为此,我们首先讨论多目标优化中的用户偏好,然后探索其与机器学习和多目标优化的公平关系。在上述讨论之后,提出了公平意识的多目标优化的代表性案例,进一步阐述了在传统的多目标优化,数据驱动的优化和联合优化中公平性的重要性。最后,解决了公平意识的多目标优化方面的挑战和机遇。我们希望本文在优化的背景下朝着理解公平迈出一步,并促进对公平意识的多目标优化的研究兴趣。
translated by 谷歌翻译
机器学习(ML)技术在教育方面越来越普遍,从预测学生辍学,到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长,迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中,我们阐明了这一复杂的景观绘制,以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育(ML4ED)论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说,技术问题的提出,目标,方法和解释结果与手头的教育问题保持一致。我们发现,在ML生命周期的两个部分中存在跨学科的差距,并且尤其突出:从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期,这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究,以及对ML社会影响的批判性分析。具体而言,它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。
translated by 谷歌翻译