计算机视觉任务可以从估计突出物区域和这些对象区域之间的相互作用中受益。识别对象区域涉及利用预借鉴模型来执行对象检测，对象分割和/或对象姿势估计。但是，由于以下原因，在实践中不可行：1）预用模型的训练数据集的对象类别可能不会涵盖一般计算机视觉任务的所有对象类别，2）佩戴型模型训练数据集之间的域间隙并且目标任务的数据集可能会影响性能，3）预磨模模型中存在的偏差和方差可能泄漏到导致无意中偏置的目标模型的目标任务中。为了克服这些缺点，我们建议利用一系列视频帧捕获一组公共对象和它们之间的相互作用的公共基本原理，因此视频帧特征之间的共分割的概念可以用自动的能力装配模型专注于突出区域，以最终的方式提高潜在的任务的性能。在这方面，我们提出了一种称为“共分割激活模块”（COSAM）的通用模块，其可以被插入任何CNN，以促进基于CNN的任何CNN的概念在一系列视频帧特征中的关注。我们在三个基于视频的任务中展示Cosam的应用即1）基于视频的人Re-ID，2）视频字幕分类，并证明COSAM能够在视频帧中捕获突出区域，从而引导对于显着的性能改进以及可解释的关注图。
translated by 谷歌翻译
资源说明框架（RDF）和属性图（PG）是表示，存储和查询图数据的两个最常用的数据模型。我们提出了表达推理图存储（ERGS） - 构建在Janusgraph（属性图存储）顶部的图存储，该图还允许存储和查询RDF数据集。首先，我们描述了如何将RDF数据转换为属性图表示，然后描述将SPARQL查询转换为一系列Gremlin遍历的查询翻译模块。因此，开发的转换器和翻译器可以允许任何Apache TinkerPop符合图形数据库存储和查询RDF数据集。我们证明了使用JanusGraph作为基本属性图存储的建议方法的有效性，并将其性能与标准RDF系统进行比较。
translated by 谷歌翻译
仇恨言论以贬义的评论以多种形式针对社区，并使人类退后一步。 Hatexplain是最近出版的第一个数据集，用于以理由的形式使用带注释的跨度，以及语音分类类别和有针对性的社区，以使分类更具人性化，可解释，准确和偏见。我们调整BERT以理由和阶级预测的形式执行此任务，并比较我们对跨精度，解释性和偏见的不同指标的性能。我们的新颖性是三倍。首先，我们尝试具有不同重要性值的合并理由类损失。其次，我们对理由的地面真相注意值进行了广泛的实验。随着保守和宽大的关注，我们比较了hatexplain模型的性能并检验我们的假设。第三，为了改善模型中的意外偏见，我们使用目标社区单词的掩盖，并注意偏见和解释性指标的改善。总体而言，我们成功地实现了模型的解释性，偏差删除和对原始BERT实施的几个增量改进。
translated by 谷歌翻译
深度神经网络的过度参数性质导致在低端设备上的部署过程中有很大的障碍，并具有时间和空间限制。使用迭代修剪培训方案稀疏DNN的网络修剪策略通常在计算上很昂贵。结果，在训练之前，在初始化时修剪修剪的技术变得越来越流行。在这项工作中，我们提出了神经元到神经元的跳过连接，这些连接是稀疏的加权跳过连接，以增强修剪的DNN的整体连通性。遵循初步修剪步骤，在修剪网络的单个神经元/通道之间随机添加N2NSKIP连接，同时保持网络的整体稀疏性。我们证明，与没有N2NSKIP连接的修剪的网络相比，在修剪网络中引入N2NSKIP连接可以显着卓越的性能，尤其是在高稀疏度水平上。此外，我们提出了基于热扩散的连接分析，以定量确定修剪网络相对于参考网络的连通性。我们评估方法对两种不同初步修剪方法的疗效，这些方法在初始化时修剪，并通过利用N2NSKIP连接引起的增强连接性来始终获得卓越的性能。
translated by 谷歌翻译
独立组件分析是一种无监督的学习方法，用于从多元信号或数据矩阵计算独立组件（IC）。基于权重矩阵与多元数据矩阵的乘法进行评估。这项研究提出了一个新型的Memristor横杆阵列，用于实施ACY ICA和快速ICA，以用于盲源分离。数据输入以脉冲宽度调制电压的形式应用于横梁阵列，并且已实现的神经网络的重量存储在Memristor中。来自Memristor列的输出电荷用于计算重量更新，该重量更新是通过电压高于Memristor SET/RESET电压执行的。为了证明其潜在应用，采用了基于ICA架构的基于ICA架构的拟议的Memristor横杆阵列用于图像源分离问题。实验结果表明，所提出的方法非常有效地分离图像源，并且与常规ACY的基于软件的ACY实施相比，与结构相似性的百分比相比，结构相似性的百分比为67.27％，图像的对比度得到了改进。 ICA和快速ICA算法。
translated by 谷歌翻译
最近已经提出了压缩的随机梯度下降（SGD）算法，以解决分布式和分散的优化问题（例如在联合机器学习中出现的问题）中的通信瓶颈。现有的压缩SGD算法假定使用非自适应的阶梯尺寸（恒定或减小）来提供理论收敛保证。通常，在实践中对数据集和学习算法进行微调，以提供良好的经验性能。在许多学习方案中，这种微调可能是不切实际的，因此，使用自适应阶梯尺寸研究压缩SGD是很感兴趣的。由SGD在未压缩环境中有效训练神经网络的自适应阶梯尺寸方法的先前工作的激励，我们为压缩SGD开发了一种自适应阶梯尺寸方法。特别是，我们在压缩SGD中引入了一种缩放技术，我们用来在插值条件下为凸 - 平滑和强凸 - 平滑目标建立订单 - 最佳收敛速率，并在强烈的增长下为健康）状况。我们还通过仿真示例显示，如果没有这种缩放，算法就无法收敛。我们介绍了现实世界数据集的深神经网络的实验结果，并将我们提出的算法的性能与先前提出的文献压缩SGD方法进行比较，并在Resnet-18，Resnet-34和Densenet架构上的CIFAR-100架构上的性能提高了和CIFAR-10数据集的各种压缩级别。
translated by 谷歌翻译