识别,跟踪和预测伤口愈合阶段的进展是正确诊断,有效治疗,促进愈合和减轻疼痛的基本任务。传统上,医学专家可能会观察到伤口,以确定当前的愈合状态并建议治疗。但是,可以通过视觉指标从视觉指标中产生此类诊断的专家可能会耗时且昂贵。此外,病变可能需要数周的时间才能进行康复过程,要求资源不断监测和诊断。自动执行此任务可能具有挑战性;遵循伤口从发作到成熟的伤口进展的数据集很小,很少,并且通常没有计算机视觉。为了应对这些挑战,我们引入了一种自我监督的学习计划,该计划由(a)学习伤口的时间动态的学习嵌入,(b)自动阶段发现的聚类以及(c)微调分类。拟议的自我监督和灵活的学习框架是在生物学上启发和培训的,并在人类标签为零的小数据集上进行了培训。 HealNet框架达到了高文本和下游分类精度。当对持有的测试数据进行评估时,HealNet获得了94.2%的文本准确性和93.8%的愈合阶段分类精度。
translated by 谷歌翻译
We present a Machine Learning (ML) study case to illustrate the challenges of clinical translation for a real-time AI-empowered echocardiography system with data of ICU patients in LMICs. Such ML case study includes data preparation, curation and labelling from 2D Ultrasound videos of 31 ICU patients in LMICs and model selection, validation and deployment of three thinner neural networks to classify apical four-chamber view. Results of the ML heuristics showed the promising implementation, validation and application of thinner networks to classify 4CV with limited datasets. We conclude this work mentioning the need for (a) datasets to improve diversity of demographics, diseases, and (b) the need of further investigations of thinner models to be run and implemented in low-cost hardware to be clinically translated in the ICU in LMICs. The code and other resources to reproduce this work are available at https://github.com/vital-ultrasound/ai-assisted-echocardiography-for-low-resource-countries.
translated by 谷歌翻译
We present edBB-Demo, a demonstrator of an AI-powered research platform for student monitoring in remote education. The edBB platform aims to study the challenges associated to user recognition and behavior understanding in digital platforms. This platform has been developed for data collection, acquiring signals from a variety of sensors including keyboard, mouse, webcam, microphone, smartwatch, and an Electroencephalography band. The information captured from the sensors during the student sessions is modelled in a multimodal learning framework. The demonstrator includes: i) Biometric user authentication in an unsupervised environment; ii) Human action recognition based on remote video analysis; iii) Heart rate estimation from webcam video; and iv) Attention level estimation from facial expression analysis.
translated by 谷歌翻译
培训低级的深层神经网络,即使用分解层,特别是社区感兴趣的:它在记忆消耗和训练时间方面提供了对未分离培训的效率。先前的工作集中在预训练的网络的低级近似值和低级空间中的培训中,并提供了其他目标,为所选实践提供了各种临时解释。我们分析了在实践中运作良好的技术,并通过对诸如GPT2之类的模型进行广泛的消融,我们提供了证据表明该领域的共同信念,这暗示着令人兴奋的研究机会仍然需要回答。
translated by 谷歌翻译
人类利用先验知识来描述图像,并能够使其解释适应特定的上下文信息,即使在上下文信息和图像不匹配时,也可以在发明合理的解释的范围内。在这项工作中,我们提出了通过整合上下文知识来字幕Wikipedia图像的新颖任务。具体而言,我们制作的模型共同推理了Wikipedia文章,Wikimedia图像及其相关描述以产生上下文化的标题。特别是,可以使用类似的Wikimedia图像来说明不同的文章,并且所产生的标题需要适应特定的上下文,因此使我们能够探索模型的限制以调整标题为不同的上下文信息。该领域中的一个特殊挑战性的任务是处理量不多的单词和命名实体。为了解决这个问题,我们提出了一个预训练目标,掩盖了命名实体建模(MNEM),并表明与基线模型相比,此借口任务可以改善。此外,我们验证了Wikipedia中使用MNEM目标预先训练的模型可以很好地推广到新闻字幕数据集。此外,我们根据字幕任务的难度定义了两种不同的测试拆分。我们提供有关每种方式的作用和重要性的见解,并突出我们模型的局限性。接受时,代码,模型和数据拆分可公开可用。
translated by 谷歌翻译
对AI的道德影响和值得信赖系统的设计的研究需要分析使用AI系统的方案,这与“用例”的软件工程概念和“预期目的”法律术语有关。但是,没有用于涵盖使用,范围,功能要求和AI系统风险的用例文档的标准方法。在这项工作中,我们为AI用例提出了一种新颖的文档方法,特别关注情感计算领域。我们的方法基于对研究文献中记录的用例信息需求的评估以及最近提议的AI欧洲监管框架。通过此评估,我们采用并调整了统一的建模语言(UML),在过去的二十年中,这主要由软件工程师使用。然后,每个用例都由UML图和一个结构化表表示,我们提供了一组示例,说明了其在几种情感计算方案中的应用。
translated by 谷歌翻译
在本文中,我们介绍了一个多语言场景文本视觉问题的框架,以零拍的方式处理新语言。具体来说,我们考虑场景文本视觉质量回答(STVQA)的任务,其中可以用不同的语言提出问题,并且不一定与场景文本语言保持一致。因此,我们首先引入了自然的步骤,朝着更广泛的版本的STVQA:MUST-VQA介绍。考虑到这一点,我们讨论了在受约束设置的两个评估方案,即IID和零照片,我们证明这些模型可以在零拍设置的标准杆上执行。我们进一步提供了广泛的实验,并显示了将多语言模型调整为STVQA任务的有效性。
translated by 谷歌翻译
由于用户不是最终的内容消费者,因此在内容市场中提供有意义的建议是具有挑战性的。取而代之的是,大多数用户是创意者的兴趣,与他们从事的项目相关,迅速而突然地改变。为了解决向内容创建者推荐图像的具有挑战性的任务,我们设计了一个recsys,以学习视觉样式的偏好,横向用户工作的项目的语义。我们分析了任务的挑战与语义驱动的基于内容的建议,提出评估设置并解释其在全球图像市场中的应用。该技术报告是ACM Recsys '22介绍的论文“学习用户在图像市场中的首选视觉样式”的扩展。
translated by 谷歌翻译
我们引入了一个新的差异隐私(DP)会计师,称为鞍点会计师(SPA)。SPA以准确而快速的方式近似保证DP机制的组成。我们的方法是受鞍点法的启发,这是一种统计中无处不在的数值技术。通过为SPA提供的近似误差,我们通过得出上限和下限来证明性能的严格保证。水疗中心的关键是与中心极限定理的大型探空方法的组合,我们通过指数倾斜与DP机制相对应的隐私损失随机变量来得出。水疗中心的一个关键优点是,它可以在$ n $折叠机制的$ n $折叠组成下持续运行。数值实验表明,水疗中心的准确性与更快的运行时的最新会计方法相当。
translated by 谷歌翻译
自由图页中的手写文本识别(HTR)是一项艰巨的图像理解任务,可以为手写文档的数字化和重复使用其内容提供相关的增强。由于写作风格的变化和页面质量降解的变化,该任务在处理历史文档时变得更加具有挑战性。最先进的HTR方法通常将序列建模的复发结构与卷积神经网络进行视觉特征提取。由于卷积内核是在固定网格上定义的,并专注于所有输入像素时在输入映像时独立地独立于所有输入像素,因此该策略无视手写字符在形状,比例和规模和方向上,即使在同一文档中,并且墨水像素为比背景更相关。为了应对这些特定的HTR困难,我们建议采用可变形的卷积,这可能会根据手头的输入而变形,并更好地适应文本的几何变化。我们设计了两个可变形的架构,并在现代和历史数据集上进行了广泛的实验。实验结果证实了可变形卷积对HTR任务的适用性。
translated by 谷歌翻译