现在,越来越多的人依靠在线平台来满足其健康信息需求。因此,确定不一致或矛盾的文本健康信息已成为一项关键的任务。健康建议数据提出了一个独特的挑战,在一个诊断的背景下,在另一个诊断的背景下是准确的信息。例如,患有糖尿病和高血压的人通常会在饮食方面得到矛盾的健康建议。这激发了对可以提供上下文化的,特定于用户的健康建议的技术的需求。朝着情境化建议迈出的关键一步是能够比较健康建议陈述并检测它们是否以及如何冲突的能力。这是健康冲突检测(HCD)的任务。鉴于两个健康建议,HCD的目标是检测和分类冲突的类型。这是一项具有挑战性的任务,因为(i)自动识别和分类冲突需要更深入地了解文本的语义,并且(ii)可用数据的数量非常有限。在这项研究中,我们是第一个在预先训练的语言模型的背景下探索HCD的人。我们发现,Deberta-V3在所有实验中的平均F1得分为0.68。我们还研究了不同冲突类型所带来的挑战,以及合成数据如何改善模型对冲突特定语义的理解。最后,我们强调了收集实际健康冲突的困难,并提出了一种人类的合成数据增强方法来扩展现有的HCD数据集。我们的HCD培训数据集比现有的HCD数据集大2倍以上,并在GitHub上公开可用。
translated by 谷歌翻译
Quantum machine learning (QML) has received increasing attention due to its potential to outperform classical machine learning methods in various problems. A subclass of QML methods is quantum generative adversarial networks (QGANs) which have been studied as a quantum counterpart of classical GANs widely used in image manipulation and generation tasks. The existing work on QGANs is still limited to small-scale proof-of-concept examples based on images with significant down-scaling. Here we integrate classical and quantum techniques to propose a new hybrid quantum-classical GAN framework. We demonstrate its superior learning capabilities by generating $28 \times 28$ pixels grey-scale images without dimensionality reduction or classical pre/post-processing on multiple classes of the standard MNIST and Fashion MNIST datasets, which achieves comparable results to classical frameworks with 3 orders of magnitude less trainable generator parameters. To gain further insight into the working of our hybrid approach, we systematically explore the impact of its parameter space by varying the number of qubits, the size of image patches, the number of layers in the generator, the shape of the patches and the choice of prior distribution. Our results show that increasing the quantum generator size generally improves the learning capability of the network. The developed framework provides a foundation for future design of QGANs with optimal parameter set tailored for complex image generation tasks.
translated by 谷歌翻译
神经网络容易受到对抗性攻击的攻击:在其输入中添加精心设计,不可察觉的扰动可以改变其输出。对抗训练是针对此类攻击的训练强大模型的最有效方法之一。不幸的是,这种方法比神经网络的香草培训要慢得多,因为它需要在每次迭代时为整个培训数据构建对抗性示例。通过利用核心选择理论,我们展示了如何选择一小部分训练数据提供了一种原则性的方法来降低健壮训练的时间复杂性。为此,我们首先为对抗核心选择提供收敛保证。特别是,我们表明收敛界限直接与我们的核心在整个训练数据中计算出的梯度的距离如何。在我们的理论分析的激励下,我们建议使用此梯度近似误差作为对抗核心选择目标,以有效地减少训练集大小。建造后,我们在培训数据的这一子集上进行对抗训练。与现有方法不同,我们的方法可以适应各种培训目标,包括交易,$ \ ell_p $ -pgd和感知性对手培训。我们进行了广泛的实验,以证明我们的进近可以使对抗性训练加快2-3次,同时在清洁和稳健的精度中略有降解。
translated by 谷歌翻译
预计量子计算将提供巨大的计算能力,可以为许多数据科学问题提供有效的解决方案。但是,当前一代的量子设备很小且嘈杂,这使得处理与实际问题相关的大数据集变得困难。核心选择旨在通过减少输入数据的大小而不损害准确性来避免此问题。最近的工作表明,核心选择可以帮助实施量子K-均值聚类问题。但是,尚未探索核心选择对量子K-均值聚类性能的影响。在这项工作中,我们比较了两种核心技术(BFL16和Oneshot)的相对性能以及每种情况下的核心结构的大小,相对于各种数据集,并布局在实现量子算法中的核心选择的优势和局限性。我们还研究了去极化量子噪声和位叶片误差的影响,并实施了量子自动编码器技术以超过噪声效应。我们的工作为未来在近期量子设备上实施数据科学算法提供了有用的见解,这些量子设备通过核心选择减少了问题大小。
translated by 谷歌翻译
随着越来越多的监控系统已部署到智能城市,因此,将新的人类指定要求转换为机器可靠的正式规格的需求更高。但是,这些特定于人类的要求通常以英语编写,并带来丢失,不准确或模棱两可的信息。在本文中,我们提出了CitySpec,这是一个智能城市中的智能助理系统。CitySpec不仅有助于克服英语要求和正式规格带来的语言差异,而且还为缺失,不准确或模棱两可的信息提供了解决方案。本文的目的是展示CitySpec的工作原理。具体而言,我们提出了三个演示:(1)CitySpec中需求的交互式完成;(2)CitySePC遇到例外的人类校正;(3)在城市范围内的在线学习。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
智能城市已经开发了越来越多的监视系统,以确保城市的实时操作满足安全性和绩效要求。但是,许多现有的城市要求是用英语编写的,缺少,不准确或模棱两可的信息。有很高的需求,可以协助城市政策制定者将人类指定的要求转换为用于监视系统的机器可理解的形式规格。为了应对这一限制,我们构建了CitySpec,这是第一个在智能城市进行需求规范的智能助理系统。为了创建CitySpec,我们首先收集来自100多个城市的不同领域的1,500多个现实世界的需求,并提取特定于城市的知识,以生成带有3,061个单词的城市词汇数据集。我们还构建了翻译模型并通过需求综合来增强它,并在不确定性下使用验证开发新颖的在线学习框架。现实世界中城市需求的评估结果表明,CitySpec将需求规范的句子级别的准确性从59.02%提高到86.64%,并且对新城市和新领域具有强大的适应性(例如,西雅图的F1分数提高了需求。通过在线学习从77.6%到93.75%)。
translated by 谷歌翻译
在这项工作中,我们介绍了一种新的长尾识别战略,通过无训练知识转移来解决尾课的几次射门问题。我们的目标是将从信息丰富的常见课程获得的知识转移到语义上类似,但数据饥饿的罕见课程,以获得更强的尾级陈述。我们利用类原型和学习余弦分类器在特征空间中提供两个不同,互补的类集群中心的不同互补表示,并使用注意机制从常见类别中选择和重新测试学习的分类器特征,以获得更高质量的珍稀类表示。我们的知识转移过程自由培训,减少过度风险,并可能够为新课程提供持续的分类器。实验表明,我们的方法可以在罕见的阶级提高显着的性能,同时保持稳健的普通类性能,优于直接可比的最先进模型。
translated by 谷歌翻译
神经网络容易受到对抗性攻击的影响:为其输入添加良好的难以察觉的扰动可以修改它们的输出。对抗性培训是针对这种攻击训练强大模型的最有效的方法之一。然而,它比Vanilla训练的神经网络训练慢得多,因为它需要在每次迭代时构建整个训练数据的对抗性示例,这阻碍了其有效性。最近,提出了快速的对抗培训,可以有效地获得强大的模型。然而,其成功背后的原因尚未完全理解,更重要的是,它只能为$ \ ell_ \ infty $ -bounded攻击培训强大的模型,因为它在训练期间使用FGSM。在本文中,通过利用Coreset选择理论,我们展示了如何选择小型培训数据的子集,以减少强大培训的时间复杂性提供更原则的方法。与现有方法不同,我们的方法可以适应各种各样的培训目标,包括交易,$ \ ell_p $ -pgd和感知对抗培训。我们的实验结果表明,我们的方法将对抗性训练速度升高2-3次,同时经历清洁和稳健的准确性的少量减少。
translated by 谷歌翻译
从单目视频重建3D网格的关键元素之一是生成每个帧的深度图。然而,在结肠镜检查视频重建的应用中,产生良好质量的深度估计是具有挑战性的。神经网络可以容易地被光度分散注意力欺骗,或者不能捕获结肠表面的复杂形状,预测导致破碎网格的缺陷形状。旨在从根本上提高结肠镜检查3D重建的深度估计质量,在这项工作中,我们设计了一系列培训损失来应对结肠镜检查数据的特殊挑战。为了更好的培训,使用深度和表面正常信息开发了一组几何一致性目标。而且,经典的光度损耗延伸,具有特征匹配以补偿照明噪声。随着足够强大的培训损失,我们的自我监督框架命名为COLLE,与利用先前的深度知识相比,我们的自我监督框架能够产生更好的结肠镜检查数据地图。用于重建,我们的网络能够实时重建高质量的结肠网格,而无需任何后处理,使其成为第一个在临床上适用。
translated by 谷歌翻译