深度学习,大量注释数据和越来越强大的硬件的突出使得有可能在监督分类任务中达到显着的性能,在许多情况下使训练集饱和。然而,由于至少有三个原因,将学习的分类调整到新的领域仍然是一个难题:(1)领域和任务可能大不相同; (2)新域上可能存在非常有限的注释数据量;(3)由于deepnetworks参数的剪切数,每个新任务的新模型的完全训练在内存方面是禁止的。相反,新任务应该逐步学习,建立在已经学过的任务的预知基础之上,并且没有灾难性的遗忘,即不会损害先前任务的表现。据我们所知,本文提出了第一种多域/任务学习方法,无需使用完全张量化的体系结构进行灾难性的遗忘。我们的主要贡献是多域学习的方法,其将CNN内的相同结构块的组建模为高阶张量。我们证明了这种联合模式自然地利用了不同层之间的相关性,并且导致每个新任务/域比以前的方法更紧凑的表示,这些方法专注于分别调整每个层。我们将所提出的方法应用于视觉十项全能挑战赛的10个数据集,并表明我们的方法在分类准确度和迪卡侬评分方面平均提供约7.5倍的参数数量和优异的性能。特别是,我们的方法优于Visual DecathlonChallenge的所有先前工作。
translated by 谷歌翻译
虽然在药物发现中使用深度学习正在获得越来越多的注意,但是缺乏计算神经网络预测中的可靠误差的方法使得它们的应用无法指导识别不可靠预测的领域中的决策,例如,精确医学。在这里,我们提出了一个框架来计算使用测试时丢失和共形预测的神经网络预测中的可靠误差。具体来说,该算法包括使用丢失训练单个神经网络,然后将N次应用于验证和测试集,同时在此步骤中采用dropout。因此,对于验证和测试集中的每个实例,都会生成一组预测。然后使用保形集的预测中的残差和绝对误差用于使用保形预测来计算测试集实例的预测误差。我们展示了使用来自ChEMBL 23的24个生物活性数据集,即退出的共形预测器是有效的(即,其真值位于预测区间内的实例的分数与置信水平强烈相关)和效率,因为预测的置信区间跨越比计算的更窄的值集。使用随机森林(RF)模型生成的Conformal Predictors。最后,我们在回顾性虚拟筛选实验中表明,辍学和基于RF的Conformal Predictors可以获得可比较的活性化合物回收率。总的来说,我们提出了一种计算效率高的框架(因为除了训练单个网络之外只需要N个额外的前向传递)来利用测试时间丢失和共形预测框架,从而为深度神经网络生成可靠的预测误差。
translated by 谷歌翻译
随着基于机器学习(ML)的系统的广泛部署,用于各种应用,包括医疗,军事,汽车,基因组以及多媒体和社交网络,存在很大的破坏对抗性学习(AL)攻击的可能性。在本文中,我们提供了AL的当代调查,特别侧重于防御对统计分类器的攻击。在介绍了相关术语以及攻击者和维护者可能的目标和范围之后,我们调查了最近关于测试时间规避(TTE),数据中毒(DP)和逆向工程(RE)攻击的工作,特别是针对相同的防御措施。在这样做的过程中,我们将异常分类与异常检测(AD),无监督与监督,以及基于统计假设的防御与没有明确无效(无攻击)假设的分类进行区分;我们确定了超参数特定方法所需要的,其计算复杂性,以及评估它的性能测量和获得的质量。 Wethen深入挖掘,提供新的见解,挑战传统的AL威胁,针对尚未解决的问题,包括:1)强大的分类与AD作为防御策略; 2)相信攻击成功增加了强度,忽略了对AD的易感性; 3)小扰动最远逃避攻击:谬误还是要求? 4)普遍假设的有效性,即TTE攻击者知道示例被攻击的地面真值类; 5)黑,灰,白盒攻击作为防御评估的标准; 6)基于查询的RE对AD防御的敏感性。然后,我们呈现针对图像的TTE,RE和后门DP攻击的几种防御的基准比较。本文最后讨论了未来的工作。
translated by 谷歌翻译
我们研究了在具有高斯设计和加性噪声的alinear模型中估计$ p $ -dimensional $ s $ -sparse向量的问题。在标签被最多$ o $对抗异常值污染的情况下,我们证明基于$ n $样本的$ \ ell_1 $ -penalized Huber的$ M $ -estimator达到了最优收敛率$(s / n)^ {1/2} +(o / n)$,达到对数因子。当污染样本的比例达到零时,至少与$ 1 / \ log(n)$一样快,证明了这一点,但我们认为这是恒定分数通过稍微复杂一些的技术可以实现离群值。
translated by 谷歌翻译
本文提出了一种新的多模态话语的众源资源:我们的资源以连贯关系的形式表征了烹饪食谱领域中图像文本语境的推论。就像之前的文本论证之间的语音结构一样,如PennDiscourse Treebank,我们的新语料库有助于建立对自然交流和常识推理的更好理解,而我们的研究结果具有广泛应用的影响,例如理解和生成多模态文档。
translated by 谷歌翻译
强化学习(RL)是关于顺序决策的,并且传统上反对监督学习(SL)和无监督学习(USL)。在RL中,在给定当前状态的情况下,代理做出可能影响下一个状态而不是SL(和USL)的决定,其中下一个状态保持不变,无论采取何种决策,无论是批量还是在线学习。虽然这种差异在SL和RL之间是基本的,但是有一些被忽视的联系。特别是,我们在这个例子中证明了梯度策略方法可以被转换为监督学习问题,其中标签被替换为折扣奖励。我们提供了一个新的政策梯度方法证明(PGM),强调与交叉熵和监督学习的紧密联系。我们提供了一个简单的实验,其中我们交换标签和伪奖励。我们得出结论,如果我们明智地修改奖励函数,则可以与SL建立其他关系。
translated by 谷歌翻译
在新兴的边缘计算范例中,移动设备通过在无线网络上路由所需数据,将计算任务卸载到边缘服务器。只有当设备根据延迟和能量消耗选择最合适的服务器时,才能实现边缘计算的全部潜力。然而,由于环境的随机性和缺乏关于环境的先前信息,该问题具有挑战性。因此,智能设备在不确定的情况下顺序选择服务器,试图根据历史时间和能量消耗来改进其决策。在动态环境中,问题变得更加复杂,关键变量可能会突然发生变化。为了解决上述问题,我们首先分析了数据传输和处理所需的时间和精力。 Wethen使用该分析将问题转化为预算受限的多臂带问题,其中每个臂与奖励和成本相关联,具有时变统计特征。我们提出了一项政策来解决制定的强盗问题,并证明是一种遗憾。数值结果证明了该方法与许多现有解决方案相比的优越性。
translated by 谷歌翻译
零射击学习(ZSL)旨在通过从所见类中传递的知识来识别看不见的类。这通常通过利用由看见和未看到的类共享的语义特征空间(FS)(即属性或词向量)作为桥来实现。然而,由于训练(看到)和测试(看不见)数据的相互不相交,现有的ZSL方法容易且通常遭受域移位问题。为了解决这个问题,我们提出了一种名为AMS-SFE的新模型。它通过语义特征扩展来考虑流形结构的对齐。具体来说,我们建立了一个基于自动编码器的模型,以扩展语义特征,并将分解与从数据的视觉FS中提取的嵌入式流形联合起来。这是通过扩展语义特征来首次对齐这两个FS的尝试。大量实验表明,与其他现有方法相比,我们的模型性能得到了显着提高。
translated by 谷歌翻译
膝关节骨性关节炎(OA)是最常见的无骨折的肌肉骨骼疾病,目前的治疗方案仅限于症状缓解。对OA进展的预测是一个非常具有挑战性和及时性的问题,如果得到解决,它可以加速疾病调节药物的开发并最终帮助防止每年进行数百万次关节置换手术。在这里,我们提出了一种基于多模态机器学习的OAprogression预测模型,该模型利用原始射线照相数据,临床检查结果和患者的既往病史。我们在2,129个主题的3,918个膝关节图像的独立测试集上验证了这种方法。我们的方法在ROC曲线(AUC)下产生的面积为0.79(0.78-0.81),平均精度(AP)为0.68(0.66-0.70)。相比之下,基于逻辑回归的参考方法得出的AUC为0.75(0.74-0.77),AP为0.62(0.60-0.64)。该方法可以显着改善OA药物开发试验的主题选择过程,有助于个性化治疗方案的开发。
translated by 谷歌翻译
本文描述了我们的表面实现共享任务2018(SRST'18)的浅轨道提交系统。任务是将真正的UDstructures转换成正确的句子形式,从这些UDstructures中删除了词序信息,并将tokenshad语法化。我们将问题陈述分为两个部分,即单词重新反射和正确的词序预测。对于第一个子问题,我们使用基于长短期记忆的编码器 - 解码器方法。对于第二个子问题,我们提出了一种基于LanguageModel(LM)的方法。我们在LMBased方法中应用两种不同的子方法,这两种方法的组合结果被认为是系统的最终输出。
translated by 谷歌翻译