Deep-learning-based technologies such as deepfakes ones have been attracting widespread attention in both society and academia, particularly ones used to synthesize forged face images. These automatic and professional-skill-free face manipulation technologies can be used to replace the face in an original image or video with any target object while maintaining the expression and demeanor. Since human faces are closely related to identity characteristics, maliciously disseminated identity manipulated videos could trigger a crisis of public trust in the media and could even have serious political, social, and legal implications. To effectively detect manipulated videos, we focus on the position offset in the face blending process, resulting from the forced affine transformation of the normalized forged face. We introduce a method for detecting manipulated videos that is based on the trajectory of the facial region displacement. Specifically, we develop a virtual-anchor-based method for extracting the facial trajectory, which can robustly represent displacement information. This information was used to construct a network for exposing multidimensional artifacts in the trajectory sequences of manipulated videos that is based on dual-stream spatial-temporal graph attention and a gated recurrent unit backbone. Testing of our method on various manipulation datasets demonstrated that its accuracy and generalization ability is competitive with that of the leading detection methods.
translated by 谷歌翻译
切成薄片的Wasserstein(SW)距离已在不同的应用程序场景中广泛使用,因为它可以缩放到大量的支撑量,而不会受到维数的诅咒。切成薄片的瓦斯坦距离的值是通过radon变换(RT)获得的原始度量的一维表示(投影)之间运输成本的平均值。尽管估计切成薄片的瓦斯坦族的支持效率,但仍需要在高维环境中进行相对较大的预测。因此,对于与维度相比,支撑次数相对较少的应用,例如,使用微型批量方法的几个深度学习应用,radon transform的矩阵乘法中的复杂性成为主要计算瓶颈。为了解决这个问题,我们建议通过线性和随机组合少量的预测来得出预测,这些预测被称为瓶颈预测。我们通过引入层次ra transform(HRT)来解释这些投影的用法,该层rad rad transform(HRT)是通过递归应用radon变换变体构建的。然后,我们将方法制定为措施之间的新指标,该指标命名为分层切片瓦斯坦(HSW)距离。通过证明HRT的注入性,我们得出了HSW的指标。此外,我们研究了HSW的理论特性,包括其与SW变体的联系及其计算和样品复杂性。最后,我们将HSW的计算成本和生成质量与常规SW进行比较,使用包括CIFAR10,Celeba和Tiny Imagenet在内的各种基准数据集进行深层生成建模的任务。
translated by 谷歌翻译
最近,提出了经典多军强盗的多代理变体来解决在线学习中的公平问题。受社会选择和经济学方面的长期工作的启发,目标是优化NASH的社会福利,而不是全面的效用。不幸的是,就回合$ t $的数量而言,以前的算法要么不是有效的,要么实现次级遗憾。我们提出了一种新的有效算法,其遗憾也比以前效率低下的算法要低。对于$ n $ agents,$ k $ ands和$ t $ rounds,我们的方法遗憾的是$ \ tilde {o}(\ sqrt {nkt} + nk)$。这是对先前方法的改进,后者对$ \ tilde {o}(\ min(nk,\ sqrt {n} k^{3/2})\ sqrt {t})$的遗憾。我们还使用$ \ tilde {o}(\ sqrt {kt} + n^2k)$遗憾的方法来补充有效算法。实验发现证实了与先前方法相比,我们有效算法的有效性。
translated by 谷歌翻译
预测基金绩效对投资者和基金经理都是有益的,但这是一项艰巨的任务。在本文中,我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估,该比例代表了风险调整的绩效,以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率,该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现,经过现代贝叶斯优化训练的长期短期记忆(LSTM)和封闭式复发单元(GRUS)深度学习方法比传统统计量相比,预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法,可以实现所有模型的最佳性能。有证据表明,深度学习和结合能提供有希望的解决方案,以应对基金绩效预测的挑战。
translated by 谷歌翻译
大型电子商务产品数据中的嘈杂标签(即,将产品项放入错误类别)是产品分类任务的关键问题,因为它们是不可避免的,不足以显着删除和降低预测性能。培训数据中对数据中嘈杂标签的产品标题分类模型对于使产品分类应用程序更加实用非常重要。在本文中,我们通过比较我们的数据降低算法和不同的噪声抗压训练算法来研究实例依赖性噪声对产品标题分类的性能的影响,这些算法旨在防止分类器模型过度拟合到噪声。我们开发了一个简单而有效的深度神经网络,用于将产品标题分类用作基本分类器。除了刺激实例依赖性噪声的最新方法外,我们还提出了一种基于产品标题相似性的新型噪声刺激算法。我们的实验涵盖了多个数据集,各种噪声方法和不同的训练解决方案。当噪声速率不容易忽略时,结果揭示了分类任务的限制,并且数据分布高度偏斜。
translated by 谷歌翻译
药物误解是可能导致对患者造成不可预测后果的风险之一。为了减轻这种风险,我们开发了一个自动系统,该系统可以正确识别移动图像中的药丸的处方。具体来说,我们定义了所谓的药丸匹配任务,该任务试图匹配处方药中药丸所拍摄的药丸的图像。然后,我们提出了PIMA,这是一种使用图神经网络(GNN)和对比度学习来解决目标问题的新方法。特别是,GNN用于学习处方中文本框之间的空间相关性,从而突出显示带有药丸名称的文本框。此外,采用对比度学习来促进药丸名称的文本表示与药丸图像的视觉表示之间的跨模式相似性的建模。我们进行了广泛的实验,并证明PIMA在我们构建的药丸和处方图像的现实数据集上优于基线模型。具体而言,与其他基线相比,PIMA的准确性从19.09%提高到46.95%。我们认为,我们的工作可以为建立新的临床应用并改善药物安全和患者护理提供新的机会。
translated by 谷歌翻译
COVID-19大流行已经暴露了全球医疗服务的脆弱性,增加了开发新颖的工具来提供快速且具有成本效益的筛查和诊断的需求。临床报告表明,Covid-19感染可能导致心脏损伤,心电图(ECG)可以作为Covid-19的诊断生物标志物。这项研究旨在利用ECG信号自动检测COVID-19。我们提出了一种从ECG纸记录中提取ECG信号的新方法,然后将其送入一维卷积神经网络(1D-CNN)中,以学习和诊断疾病。为了评估数字信号的质量,标记了基于纸张的ECG图像中的R峰。之后,将从每个图像计算的RR间隔与相应数字化信号的RR间隔进行比较。 COVID-19 ECG图像数据集上的实验表明,提出的数字化方法能够正确捕获原始信号,平均绝对误差为28.11 ms。我们提出的1D-CNN模型在数字化的心电图信号上进行了训练,允许准确识别患有COVID-19和其他受试者的个体,分类精度为98.42%,95.63%和98.50%,用于分类COVID-19 vs.正常,与正常人分类, COVID-19与异常心跳和Covid-19和其他类别分别与其他阶级。此外,提出的方法还为多分类任务实现了高级的性能。我们的发现表明,经过数字化的心电图信号训练的深度学习系统可以作为诊断Covid-19的潜在工具。
translated by 谷歌翻译
跨不同边缘设备(客户)局部数据的分布不均匀,导致模型训练缓慢,并降低了联合学习的准确性。幼稚的联合学习(FL)策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型,即集群键,其中客户组具有具有相似分布的本地数据,从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据,尤其是群集串数据的数据,我们提出了FedDrl,这是一种新型的FL模型,它采用了深厚的强化学习来适应每个客户的影响因素(将用作聚合过程中的权重)。在一组联合数据集上进行了广泛的实验证实,拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进,例如,高达4.05%和2.17%。
translated by 谷歌翻译
鉴于在各种条件和背景下捕获的图像的识别药物已经变得越来越重要。已经致力于利用基于深度学习的方法来解决文献中的药丸识别问题。但是,由于药丸的外观之间的相似性很高,因此经常发生错误识别,因此识别药丸是一个挑战。为此,在本文中,我们介绍了一种名为Pika的新颖方法,该方法利用外部知识来增强药丸识别精度。具体来说,我们解决了一种实用的情况(我们称之为上下文药丸识别),旨在在患者药丸摄入量的情况下识别药丸。首先,我们提出了一种新的方法,用于建模在存在外部数据源的情况下,在这种情况下,在存在外部处方的情况下,药丸之间的隐式关联。其次,我们提出了一个基于步行的图形嵌入模型,该模型从图形空间转换为矢量空间,并提取药丸的凝结关系。第三,提供了最终框架,该框架利用基于图像的视觉和基于图的关系特征来完成药丸识别任务。在此框架内,每种药丸的视觉表示形式都映射到图形嵌入空间,然后用来通过图表执行注意力,从而产生了有助于最终分类的语义丰富的上下文矢量。据我们所知,这是第一项使用外部处方数据来建立药物之间的关联并使用此帮助信息对其进行分类的研究。皮卡(Pika)的体系结构轻巧,并且具有将识别骨架纳入任何识别骨架的灵活性。实验结果表明,通过利用外部知识图,与基线相比,PIKA可以将识别精度从4.8%提高到34.1%。
translated by 谷歌翻译
在这项工作中,我们研究了对象检测模型的自我监督预审计的不同方法。我们首先设计一个通用框架,通过随机采样和投射框来学习从图像中学习空间一致的密集表示,并将其投影到每个增强视图,并最大程度地提高相应的盒子功能之间的相似性。我们研究文献中的现有设计选择,例如盒子生成,功能提取策略,并使用其在实例级图像表示学习技术上获得成功启发的多种视图。我们的结果表明,该方法对超参数的不同选择是可靠的,并且使用多个视图不如实例级图像表示学习所显示的那样有效。我们还设计了两个辅助任务,以通过(1)通过使用对比度损失从采样设置中预测盒子中的一个视图中的框来预测框,并且(2)使用变压器预测盒子坐标,这可能会受益。下游对象检测任务。我们发现,在标记数据上预审计的模型时,这些任务不会导致更好的对象检测性能。
translated by 谷歌翻译