面部识别水平的度量对于确保专业法医面部考官和其他在应用方案中执行面部识别任务的其他人的准确和一致的表现至关重要。当前的熟练度测试依赖于静态刺激项目的集合,因此不能多次有效地对同一个人进行有效管理。要创建熟练度测试,必须组装大量“已知”难度的项目。可以构建多个相等难度的测试,然后使用项目子集。我们介绍了三合会身份匹配(TIM)测试,并使用项目响应理论(IRT)对其进行评估。参与者查看面部图像“三合会”(n = 225)(一个身份的两个图像,一个不同身份的一个图像),然后选择不同的身份。在实验1中,大学生(n = 197)在TIM测试中显示出广泛的准确性,IRT建模表明TIM项目涵盖了各种难度水平。在实验2中,我们使用基于IRT的项目指标将测试分配为特定困难的子集。模拟显示,TIM项目的子集产生了对受试者能力的可靠估计。在实验3A和3B中,我们发现学生衍生的IRT模型可靠地评估了非学生参与者的能力以及在不同的测试课程中推广的能力。在实验3C中,我们显示TIM测试性能与其他常见的面部识别测试相关。总而言之,TIM测试为开发一个灵活和校准的框架提供了一个起点,以衡量各种能力水平(例如,具有面部处理缺陷的专业人员或人群)的能力。
translated by 谷歌翻译
深度卷积神经网络(DCNNS)在面部识别方面已经达到了人类水平的准确性(Phillips等,2018),尽管目前尚不清楚它们如何准确地区分高度相似的面孔。在这里,人类和DCNN执行了包括相同双胞胎在内的具有挑战性的面貌匹配任务。参与者(n = 87)查看了三种类型的面孔图像:同一身份,普通冒名顶替对(来自相似人口组的不同身份)和双胞胎冒名顶替对(相同的双胞胎兄弟姐妹)。任务是确定对是同一个人还是不同的人。身份比较在三个观点区分条件下进行了测试:额叶至额叶,额叶至45度,额叶为90度。在每个观点 - 差异条件下评估了从双胞胎突变器和一般冒险者区分匹配的身份对的准确性。人类对于一般撞击对比双重射手对更准确,准确性下降,一对图像之间的观点差异增加。通过介绍给人类的同一图像对测试了经过训练的面部识别的DCNN(Ranjan等,2018)。机器性能反映了人类准确性的模式,但除了一种条件以外,所有人的性能都处于或尤其是所有人的表现。在所有图像对类型中,比较了人与机器的相似性得分。该项目级别的分析表明,在九种图像对类型中的六种中,人类和机器的相似性等级显着相关[范围r = 0.38至r = 0.63],这表明人类对面部相似性的感知和DCNN之间的一般协议。这些发现还有助于我们理解DCNN的表现,以区分高度介绍面孔,表明DCNN在人类或以上的水平上表现出色,并暗示了人类和DCNN使用的特征之间的均等程度。
translated by 谷歌翻译
很少有研究重点是研究人们如何识别变形攻击,即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测(MAD)方法。 MAD接近他们的决策要么基于单个图像,因此没有参考以比较(S-MAD)或使用参考图像(D-MAD)。一个普遍的误解是,审查员或观察者的面部变体检测能力取决于他们的主题专业知识,经验和对这个问题的熟悉程度,并且没有任何作品报告了定期验证身份(ID)文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时,其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度,这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库,从而产生了400个变形图像。我们还捕获了从自动边界控制(ABC)门的图像,以模仿D-MAD设置中现实的边界横断场景,并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集,以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外,该研究还雇用了469位D-MAD的观察员,S-MAD的410位观察员和410位观察员,他们主要是来自40多个国家 /地区的政府雇员,以及103个科目谁不是考官。该分析提供了有趣的见解,并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划,以防止安全失败,同时确定图像是真正的还是改变了图像。
translated by 谷歌翻译
Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.
translated by 谷歌翻译
随着面部生物识别技术的广泛采用,在自动面部识别(FR)应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高,因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一,以应对两个挑战:1)确定相同双胞胎和2)的面部相似性的基线度量和2)应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes,关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训,旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起,并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分,并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析,该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。
translated by 谷歌翻译
大规模的社交网络被认为通过扩大人们的偏见来促进两极分化。但是,这些技术的复杂性使得难以确定负责的机制并评估缓解策略。在这里,我们在受控的实验室条件下显示,通过社交网络进行信息传输会扩大对简单的感知决策任务的动机偏见。大型行为实验的参与者表明,当社交网络相对于社会参与者的一部分,在40个独立发展的人群中,社交网络的一部分相对于社交参与者而言,有偏见的决策率提高。利用机器学习和贝叶斯统计的技术,我们确定了对内容选择算法的简单调整,该算法预测可减轻偏置放大。该算法从个人网络内部生成了一个观点样本,这些视角更代表整个人群。在第二个大型实验中,该策略减少了偏差放大,同时保持信息共享的好处。
translated by 谷歌翻译
我们建议并探讨可以将语言模型作为社会科学研究中特定人类亚人群的有效代理进行研究的可能性。人工智能工具的实践和研究应用有时受到有问题的偏见(例如种族主义或性别歧视)的限制,这些偏见通常被视为模型的统一特性。我们表明,一个这样的工具中的“算法偏见”(GPT-3语言模型)既是细粒度又是人口统计相关的,这意味着适当的条件会导致其准确地仿真来自各种人类的响应分布亚组。我们将此属性称为“算法忠诚度”,并在GPT-3中探索其范围。我们通过将模型调节在美国进行的多项大型调查中的数千个社会人口统计背景故事中调节,从而创建“硅样本”。然后,我们比较硅和人类样品,以证明GPT-3中包含的信息远远超出了表面相似性。它是细微的,多方面的,并反映了特征人类态度的思想,态度和社会文化背景之间的复杂相互作用。我们建议,具有足够算法的忠诚度的语言模型构成了一种新颖而有力的工具,可以促进各种学科的人类和社会的理解。
translated by 谷歌翻译
诸如GPT-3之类的语言模型在研究界引起了愤怒。一些研究发现,GPT-3具有一些创造力,并犯了与人类行为相提并论的错误。本文回答了一个相关的问题:谁是GPT-3?我们为GPT-3管理了两个经过验证的测量工具,以评估其个性,其所持值和自我报告的人口统计。我们的结果表明,GPT -3在人格中与人类样本的分数相似,并且在提供模型响应记忆时 - 根据其所持值。我们提供了对GPT-3模型的心理评估的第一个证据,从而增加了我们对GPT-3模型的理解。我们对未来研究的建议结束,使社会科学更接近语言模型,反之亦然。
translated by 谷歌翻译
机器学习(ML)涵盖的实验必须考虑评估模型性能的两个重要方面:数据集和算法。需要强大的基准来评估最佳分类器。为此,可以采用公共存储库中提供的金标准基准。但是,常常不考虑在评估时考虑数据集的复杂性。这项工作提出了一种基于物品响应理论(IRT)和GLICKO-2的组合的新评估方法,该方法通常采用了评估参与者的强度(例如,国际象棋)。对于基准测试中的每个数据集,IRT用于估计分类器的能力,良好的分类器对最困难的测试实例具有良好的预测。然后为每对分类器运行锦标赛,以便GLICKO-2更新每个分类器等额定值,评级偏差和波动等性能信息。在此进行了一个案例研究,该研究通过了OpenML-CC18基准作为数据集的集合和各种分类算法的池进行评估。并非所有数据集都被观察到对评估算法非常有用,其中只有10%被认为是非常困难的。此外,验证了仅包含50%的OpenML-CC18的50%的子集的存在,其同样有用于算法评估。关于算法,本文提出的方法将随机林识别为具有最佳天生能力的算法。
translated by 谷歌翻译
在这项研究中,我们研究了一组从484名在美国中部地区大西洋地区一所大型公立大学招收的学生收集的主要数据。数据称为纽带数据,包括学生的人口统计和支持网络信息。支持网络数据由强调支持类型的信息(即情感或教育;常规或激烈)。使用此数据集,使用卡方自动互动检测(CHAID),决策树算法和CFOREST(一种随机的森林算法)创建了用于预测学生自我报告的GPA的学术成就的模型,该模型是使用条件推理的Cforest创建的树。我们比较方法的精度和变化在每种算法建议的一组重要变量集中。每种算法都发现,不同的变量对于不同的学生人口统计学很重要。对于白人学生来说,不同类型的教育支持对于预测学术成就很重要,而对于非白人学生来说,不同类型的情感支持对于预测学术成就很重要。不同类型的常规支持的存在对于预测顺格西格妇女的学术成就很重要,而不同类型的强烈支持对于预测cisgender男性的学术成就很重要。
translated by 谷歌翻译
Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.
translated by 谷歌翻译
情绪分析中最突出的任务是为文本分配情绪,并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是,即使没有明确提及情感名称,也可以通过单独参考事件来隐式传达情绪。在心理学中,被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量,通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的,如果该人认为自己负责,是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的,例如,新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性,目的是理解注释者是否可以可靠地重建评估概念,如果可以通过文本分类器预测,以及评估概念是否有助于识别情感类别。为了实现这一目标,我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后,我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估,并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明,两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明,评估概念改善了文本中情绪的分类。
translated by 谷歌翻译
将计算机性能与人类进行比较的图灵测试是众所周知的,但是令人惊讶的是,没有广泛使用的测试可以比较单独相对于人类,单独的计算机或其他基线的人类计算机系统的表现更好。在这里,我们展示了如何使用均值之比作为效果大小的量度进行此类测试。然后,我们以三种方式演示了该测试的使用。首先,在对最近发表的79个实验结果的分析中,我们发现,令人惊讶的是,超过一半的研究发现性能下降,均值和中位数提高的比率均约为1个(完全没有改进),最大比率为1.36(改善36%)。其次,当100名人类程序员使用GPT-3生成软件时,我们是否会获得更高的性能提高比,这是一个较大的,最先进的AI系统。在这种情况下,我们发现速度提高比为1.27(增长27%)。最后,我们发现使用GPT-3的50名非编程者可以执行与人类程序员相比,而且额外付费且额外的任务。在这种情况下,非程序员和计算机都无法单独执行任务,因此这是人类计算机协同作用非常强烈的一个例子。
translated by 谷歌翻译
人为决策的合作努力实现超出人类或人工智能表现的团队绩效。但是,许多因素都会影响人类团队的成功,包括用户的领域专业知识,AI系统的心理模型,对建议的信任等等。这项工作检查了用户与三种模拟算法模型的互动,所有这些模型都具有相似的精度,但对其真正的正面和真实负率进行了不同的调整。我们的研究检查了在非平凡的血管标签任务中的用户性能,参与者表明给定的血管是流动还是停滞。我们的结果表明,虽然AI-Assistant的建议可以帮助用户决策,但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显着影响整体团队的整体绩效。新手用户有所改善,但不能达到AI的准确性。高度熟练的用户通常能够识别何时应遵循AI建议,并通常保持或提高其性能。与AI相似的准确性水平的表演者在AI建议方面是最大的变化。此外,我们发现用户对AI的性能亲戚的看法也对给出AI建议时的准确性是否有所提高产生重大影响。这项工作提供了有关与人类协作有关的因素的复杂性的见解,并提供了有关如何开发以人为中心的AI算法来补充用户在决策任务中的建议。
translated by 谷歌翻译
儿童性滥用和剥削(CSAE)受害者的确切年龄估计是最重要的数字取证挑战之一。调查人员通常需要通过查看图像和解释性发展阶段和其他人类特征来确定受害者的年龄。主要优先事项 - 保障儿童 - 通常受到这项工作可能需要的巨大的法医反积云,认知偏见和巨大的心理压力的负面影响。本文评估了现有的面部图像数据集,并提出了一种针对类似数字法医研究贡献的需求而定制的新数据集。这个小型,不同的DataSet为0到20岁的个人包含245个图像,并与FG-Net DataSet的82个唯一图像合并,从而实现了具有高图像分集和低年龄范围密度的327个图像。在IMDB-Wiki DataSet上预先培训的深度期望(DEX)算法测试新数据集。 16至20岁的年轻青少年和年龄较大的青少年/成年人的整体成果非常令人鼓舞 - 达到1.79年的MAE,但也表明0至10岁儿童的准确性需要进一步的工作。为了确定原型的功效,已经考虑了四个数字法医专家的有价值输入,以提高年龄估计结果。需要进一步的研究来扩展关于图像密度的数据集和性别和种族分集等因素的平等分布。
translated by 谷歌翻译
现实世界的语义或基于知识的系统,例如在生物医学领域,可能会变得大而复杂。因此,对此类系统知识库中故障的本地化和修复的工具支持对于它们的实际成功至关重要。相应地,近年来提出了许多知识库调试方法,尤其是基于本体的系统。基于查询的调试是一种相似的交互式方法,它通过向知识工程师提出一系列问题来定位观察到的问题的真正原因。存在这种方法的具体实现,例如本体论编辑器的OntodeBug插件prof \'eg \'e。为了验证新提出的方法比现有方法有利,研究人员通常依靠基于模拟的比较。但是,这种评估方法有一定的局限性,并且通常无法完全告知我们方法的真实性。因此,我们进行了不同的用户研究,以评估基于查询的本体调试的实际价值。研究的一个主要见解是,所考虑的交互方法确实比基于测试案例的替代算法调试更有效。我们还观察到,用户经常在此过程中犯错误,这突出了对用户需要回答的查询的仔细设计的重要性。
translated by 谷歌翻译
This paper presents a machine learning approach to multidimensional item response theory (MIRT), a class of latent factor models that can be used to model and predict student performance from observed assessment data. Inspired by collaborative filtering, we define a general class of models that includes many MIRT models. We discuss the use of penalized joint maximum likelihood (JML) to estimate individual models and cross-validation to select the best performing model. This model evaluation process can be optimized using batching techniques, such that even sparse large-scale data can be analyzed efficiently. We illustrate our approach with simulated and real data, including an example from a massive open online course (MOOC). The high-dimensional model fit to this large and sparse dataset does not lend itself well to traditional methods of factor interpretation. By analogy to recommender-system applications, we propose an alternative "validation" of the factor model, using auxiliary information about the popularity of items consulted during an open-book exam in the course.
translated by 谷歌翻译
社会科学研究中文本数据的使用增加受益于易于访问的数据(例如Twitter)。这种趋势是以研究成本需要敏感但难以分享的数据的成本(例如,访谈数据,警察报告,电子健康记录)。我们使用开源文本匿名软件_textwash_介绍了该僵局的解决方案。本文使用TILD标准介绍了该工具的经验评估:技术评估(工具的准确性?),信息损失评估(匿名过程中丢失了多少信息?)和De-Nomenymisation Test(可以可以使用(可以可以可以使用)测试(可以可以使用匿名测试(可以人类从匿名文本数据中识别个人吗?)。研究结果表明,TextWash的性能类似于最新的实体识别模型,并引入了可忽略的信息损失0.84%。对于De-nonymisation测试,我们任命人类从众包人的描述数据集中对非常著名,半著名和不存在的个人的描述来识别个人。该工具的现实用例的匿名率范围为1.01-2.01%。我们在第二项研究中复制了发现,并得出结论,Textwash成功地删除了潜在的敏感信息,这些信息实际上使人描述实际上是匿名的。
translated by 谷歌翻译
Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.
translated by 谷歌翻译
启动和抗精气可以通过错误驱动的学习来建模(Marsolek,2008),假设学习质量的影响对目标刺激的处理进行了学习。这意味着参与者在启动研究中不断学习,并预测他们在其他心理语言实验的每项试验中也在学习。这项研究调查了在词汇决策实验中是否可以检测到试验学习。我们使用了判别词典模型(DLM; Baayen等,2019),这是一种具有分布语义的含义表示的精神词典模型,该模型具有分布语义的含义表示,该模型以Widrow-hoff规则为增量学习模型。我们使用了英国词典项目(BLP; Keuleers等,2012)的数据,并对每个受试者单独进行试用基础进行了DLM模拟词汇决策实验。然后,使用源自DLM模拟作为预测因子的措施预测单词和非单词的反应时间。使用两个受试者的数据开发模型,并对所有其他受试者进行了测试。我们从两个模拟中为每个主题提取了措施(一个在试验之间进行了学习更新,一个没有),并将其用作两个GAM的输入。基于学习的模型比大多数受试者的非学习模型表现出更好的模型拟合度。我们的措施还提供了有关词汇处理的见解,并使我们能够通过线性混合模型探索个体差异。这证明了DLM对行为数据进行建模的潜力,并得出这样的结论:在心理语言实验中确实可以检测到试验到审判的学习。
translated by 谷歌翻译