视频可访问性对于盲人和低愿景用户来说至关重要，以获得教育，就业和娱乐的公平参与。尽管有专业和业余服务和工具，但大多数人类生成的描述都很昂贵且耗时。此外，人生成的描述的速率不能匹配视频产生的速度。为了克服视频可访问性的越来越多的空白，我们开发了两个工具的混合系统到1）自动生成视频的描述，2）提供响应于视频上的用户查询的答案或附加描述。与26例盲和低视力下的混合方法研究结果表明，当两种工具在串联中使用时，我们的系统会显着提高用户理解和享受所选视频的理解和享受。此外，参与者报告说，在呈现自生物的描述与人类修订的自动化描述相关时，没有显着差异。我们的结果表明了对发达系统的热情及其承诺提供对视频的定制访问。我们讨论了当前工作的局限性，并为自动视频描述工具的未来发展提供了建议。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.

Deepfakes are computationally-created entities that falsely represent reality. They can take image, video, and audio modalities, and pose a threat to many areas of systems and societies, comprising a topic of interest to various aspects of cybersecurity and cybersafety. In 2020 a workshop consulting AI experts from academia, policing, government, the private sector, and state security agencies ranked deepfakes as the most serious AI threat. These experts noted that since fake material can propagate through many uncontrolled routes, changes in citizen behaviour may be the only effective defence. This study aims to assess human ability to identify image deepfakes of human faces (StyleGAN2:FFHQ) from nondeepfake images (FFHQ), and to assess the effectiveness of simple interventions intended to improve detection accuracy. Using an online survey, 280 participants were randomly allocated to one of four groups: a control group, and 3 assistance interventions. Each participant was shown a sequence of 20 images randomly selected from a pool of 50 deepfake and 50 real images of human faces. Participants were asked if each image was AI-generated or not, to report their confidence, and to describe the reasoning behind each response. Overall detection accuracy was only just above chance and none of the interventions significantly improved this. Participants' confidence in their answers was high and unrelated to accuracy. Assessing the results on a per-image basis reveals participants consistently found certain images harder to label correctly, but reported similarly high confidence regardless of the image. Thus, although participant accuracy was 62% overall, this accuracy across images ranged quite evenly between 85% and 30%, with an accuracy of below 50% for one in every five images. We interpret the findings as suggesting that there is a need for an urgent call to action to address this threat.

问答系统被认为是流行且经常有效的信息在网络上寻求信息的手段。在这样的系统中，寻求信息者可以通过自然语言提出问题来获得对他们的查询的简短回应。交互式问题回答是一种最近提出且日益流行的解决方案，它位于问答和对话系统的交集。一方面，用户可以以普通语言提出问题，并找到对她的询问的实际回答；另一方面，如果在初始请求中有多个可能的答复，很少或歧义，则系统可以将问题交通会话延长到对话中。通过允许用户提出更多问题，交互式问题回答使用户能够与系统动态互动并获得更精确的结果。这项调查提供了有关当前文献中普遍存在的交互式提问方法的详细概述。它首先要解释提问系统的基本原理，从而定义新的符号和分类法，以将所有已确定的作品结合在统一框架内。然后，根据提出的方法，评估方法和数据集/应用程序域来介绍和检查有关交互式问题解答系统的审查已发表的工作。我们还描述了围绕社区提出的特定任务和问题的趋势，从而阐明了学者的未来利益。 GitHub页面的综合综合了本文献研究中涵盖的所有主要主题，我们的工作得到了进一步的支持。 https://sisinflab.github.io/interactive-question-answering-systems-survey/

作为人类，我们通过我们所有的感官来驾驭世界，使用每个人从每个人纠正其他人。我们介绍了Merlot Reserve，一个模型，该模型是联合随着时间的推移而表示视频的模型 - 通过从音频，字幕和视频帧学习的新培训目标。给出了一个视频，我们用掩模令牌替换文本和音频的片段;该模型通过选择正确的蒙版片段来学习。我们的目标比替代方面更快地学习，并在规模上表现良好：我们预先逼近2000万YouTube视频。经验结果表明，Merlot Reserve学会通过所有组成模式的视频的强烈陈述。在FineTuned时，它在VCR和TVQA上为VCR和TVQA进行了新的最先进，优先于前勤工作分别为5％和7％。消融表明，两个任务都受益于音频预制 - 甚至录像机，围绕图像中心的QA任务（没有声音）。此外，我们的客观使开箱即用的预测，揭示了强大的多式联合致辞理解。在一个完全零拍摄的环境中，我们的模型在四个视频理解任务中获得竞争结果，甚至优于最近提出的定位推理（星）基准的监督方法。我们分析为什么包含音频导致更好的视觉语言表示，这表明未来研究的重要机会。我们通过讨论多式联运预测的道德和社会影响来得出结论。

Any organization needs to improve their products, services, and processes. In this context, engaging with customers and understanding their journey is essential. Organizations have leveraged various techniques and technologies to support customer engagement, from call centres to chatbots and virtual agents. Recently, these systems have used Machine Learning (ML) and Natural Language Processing (NLP) to analyze large volumes of customer feedback and engagement data. The goal is to understand customers in context and provide meaningful answers across various channels. Despite multiple advances in Conversational Artificial Intelligence (AI) and Recommender Systems (RS), it is still challenging to understand the intent behind customer questions during the customer journey. To address this challenge, in this paper, we study and analyze the recent work in Conversational Recommender Systems (CRS) in general and, more specifically, in chatbot-based CRS. We introduce a pipeline to contextualize the input utterances in conversations. We then take the next step towards leveraging reverse feature engineering to link the contextualized input and learning model to support intent recognition. Since performance evaluation is achieved based on different ML models, we use transformer base models to evaluate the proposed approach using a labelled dialogue dataset (MSDialogue) of question-answering interactions between information seekers and answer providers.

MetaVerse，巨大的虚拟物理网络空间，为艺术家带来了前所未有的机会，将我们的身体环境的每个角落与数字创造力混合。本文对计算艺术进行了全面的调查，其中七个关键主题与成权相关，描述了混合虚拟物理现实中的新颖艺术品。主题首先涵盖了MetaVerse的建筑元素，例如虚拟场景和字符，听觉，文本元素。接下来，已经反映了诸如沉浸式艺术，机器人艺术和其他用户以其他用户的方法提供了沉浸式艺术，机器人艺术和其他用户中心的若干非凡类型的新颖创作。最后，我们提出了几项研究议程：民主化的计算艺术，数字隐私和搬迁艺术家的安全性，为数字艺术品，技术挑战等等的所有权认可。该调查还担任艺术家和搬迁技术人员的介绍材料，以开始在超现实主义网络空间领域创造。

在过去的十年中，计算机愿景，旨在了解视觉世界的人工智能分支，从简单地识别图像中的物体来描述图片，回答有关图像的问题，以及围绕物理空间的机器人操纵甚至产生新的视觉内容。随着这些任务和应用程序的现代化，因此依赖更多数据，用于模型培训或评估。在本章中，我们展示了新颖的互动策略可以为计算机愿景提供新的数据收集和评估。首先，我们提出了一种众群界面，以通过数量级加速付费数据收集，喂养现代视觉模型的数据饥饿性质。其次，我们探索使用自动社交干预措施增加志愿者贡献的方法。第三，我们开发一个系统，以确保人类对生成视觉模型的评估是可靠的，实惠和接地在心理物理学理论中。我们结束了人机互动的未来机会，以帮助计算机愿景。

自我跟踪可以提高人们对他们不健康的行为的认识，为行为改变提供见解。事先工作探索了自动跟踪器如何反映其记录数据，但它仍然不清楚他们从跟踪反馈中学到多少，以及哪些信息更有用。实际上，反馈仍然可以压倒，并简明扼要可以通过增加焦点和减少解释负担来改善学习。为了简化反馈，我们提出了一个自动跟踪反馈显着框架，以定义提供反馈的特定信息，为什么这些细节以及如何呈现它们（手动引出或自动反馈）。我们从移动食品跟踪的实地研究中收集了调查和膳食图像数据，并实施了Salientrack，一种机器学习模型，以预测用户从跟踪事件中学习。使用可解释的AI（XAI）技术，SalientRack识别该事件的哪些特征是最突出的，为什么它们导致正面学习结果，并优先考虑如何根据归属分数呈现反馈。我们展示了用例，并进行了形成性研究，以展示Salientrack的可用性和有用性。我们讨论自动跟踪中可读性的影响，以及如何添加模型解释性扩大了提高反馈体验的机会。

培训和评估机器学习模型的迭代是提高其性能的重要过程。但是，尽管可教学的接口使盲人用户能够在其独特的环境中拍摄的照片训练和测试对象识别器，但训练迭代和评估步骤的可访问性很少受到关注。迭代假设训练照片的目视检查，对于盲人用户来说是无法访问的。我们通过MyCam探索了这一挑战，Mycam是一个移动应用程序，该应用程序合并了自动估计的描述符，以在用户培训集中对照片进行非视觉访问。我们探索盲人参与者（n = 12）如何通过他们的家中的评估研究与mycam和描述符相互作用。我们证明，实时照片级描述符使盲人用户能够用裁剪的对象减少照片，并且参与者可以通过迭代并访问其训练集的质量来增加更多的变化。此外，参与者发现该应用程序易于使用，表明他们可以有效地训练它，并且描述符很有用。但是，主观反应并未反映在其模型的性能中，部分原因是训练和混乱背景的变化很小。

Incivility remains a major challenge for online discussion platforms, to such an extent that even conversations between well-intentioned users can often derail into uncivil behavior. Traditionally, platforms have relied on moderators to -- with or without algorithmic assistance -- take corrective actions such as removing comments or banning users. In this work we propose a complementary paradigm that directly empowers users by proactively enhancing their awareness about existing tension in the conversation they are engaging in and actively guides them as they are drafting their replies to avoid further escalation. As a proof of concept for this paradigm, we design an algorithmic tool that provides such proactive information directly to users, and conduct a user study in a popular discussion platform. Through a mixed methods approach combining surveys with a randomized controlled experiment, we uncover qualitative and quantitative insights regarding how the participants utilize and react to this information. Most participants report finding this proactive paradigm valuable, noting that it helps them to identify tension that they may have otherwise missed and prompts them to further reflect on their own replies and to revise them. These effects are corroborated by a comparison of how the participants draft their reply when our tool warns them that their conversation is at risk of derailing into uncivil behavior versus in a control condition where the tool is disabled. These preliminary findings highlight the potential of this user-centered paradigm and point to concrete directions for future implementations.

通过整合人类的知识和经验，人在循环旨在以最低成本培训准确的预测模型。人类可以为机器学习应用提供培训数据，并直接完成在基于机器的方法中对管道中计算机中的难以实现的任务。在本文中，我们从数据的角度调查了人类循环的现有工作，并将它们分为三类具有渐进关系：（1）从数据处理中提高模型性能的工作，（2）通过介入模型培训提高模型性能，（3）系统的设计独立于循环的设计。使用上述分类，我们总结了该领域的主要方法;随着他们的技术优势/弱点以及自然语言处理，计算机愿景等的简单分类和讨论。此外，我们提供了一些开放的挑战和机遇。本调查打算为人类循环提供高级别的摘要，并激励有兴趣的读者，以考虑设计有效的循环解决方案的方法。

自2016年成立以来，Alexa奖计划使数百名大学生能够通过Socialbot Grand Challenge探索和竞争以发展对话代理商。挑战的目的是建立能够与人类在流行主题上连贯而诱人的代理人20分钟，同时达到至少4.0/5.0的平均评分。但是，由于对话代理商试图帮助用户完成日益复杂的任务，因此需要新的对话AI技术和评估平台。成立于2021年的Alexa奖Taskbot Challenge建立在Socialbot Challenge的成功基础上，通过引入交互式协助人类进行现实世界烹饪和做自己动手做的任务的要求，同时同时使用语音和视觉方式。这项挑战要求TaskBots识别和理解用户的需求，识别和集成任务和域知识，并开发新的方式，不分散用户的注意力，而不必分散他们的任务，以及其他挑战。本文概述了Taskbot挑战赛，描述了使用Cobot Toolkit提供给团队提供的基础架构支持，并总结了参与团队以克服研究挑战所采取的方法。最后，它分析了比赛第一年的竞争任务机器人的性能。

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。