ProtoPNet and its follow-up variants (ProtoPNets) have attracted broad research interest for their intrinsic interpretability from prototypes and comparable accuracy to non-interpretable counterparts. However, it has been recently found that the interpretability of prototypes can be corrupted due to the semantic gap between similarity in latent space and that in input space. In this work, we make the first attempt to quantitatively evaluate the interpretability of prototype-based explanations, rather than solely qualitative evaluations by some visualization examples, which can be easily misled by cherry picks. To this end, we propose two evaluation metrics, termed consistency score and stability score, to evaluate the explanation consistency cross images and the explanation robustness against perturbations, both of which are essential for explanations taken into practice. Furthermore, we propose a shallow-deep feature alignment (SDFA) module and a score aggregation (SA) module to improve the interpretability of prototypes. We conduct systematical evaluation experiments and substantial discussions to uncover the interpretability of existing ProtoPNets. Experiments demonstrate that our method achieves significantly superior performance to the state-of-the-arts, under both the conventional qualitative evaluations and the proposed quantitative evaluations, in both accuracy and interpretability. Codes are available at https://github.com/hqhQAQ/EvalProtoPNet.
translated by 谷歌翻译
原型零件网络(Protopnet)引起了广泛的关注,并增加了许多随访研究,因为它的自我解释特性可解释人工智能(XAI)。但是,当直接在视觉变压器(VIT)骨架上应用原始网络时,学到的原型存在“分心”问题:它们具有相对较高的可能性,即被背景激活,并且对前景的关注较少。建模长期依赖性的强大能力使得基于变压器的Protopnet难以专注于原型部分,从而严重损害了其固有的解释性。本文提出了原型零件变压器(ProtoPformer),以适当有效地应用基于原型的方法,并使用VIT进行可解释的图像识别。提出的方法介绍了根据VIT的建筑特征捕获和突出目标的代表性整体和部分特征的全局和局部原型。采用了全球原型,以提供对象的全球视图,以指导本地原型集中在前景上,同时消除背景的影响。之后,明确监督局部原型,以专注于它们各自的原型视觉部分,从而提高整体可解释性。广泛的实验表明,我们提出的全球和本地原型可以相互纠正并共同做出最终决策,这些决策分别忠实,透明地从整体和地方的角度缔合过程。此外,ProtoPformer始终取得优于基于原型的原型基线(SOTA)的卓越性能和可视化结果。我们的代码已在https://github.com/zju-vipa/protopformer上发布。
translated by 谷歌翻译
对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功,具有丰富的标记数据。但在现实生活中,它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时,这些大型物体探测器易于过度装备。因此,有必要将几次拍摄的学习和零射击学习引入对象检测,这可以将低镜头对象检测命名在一起。低曝光对象检测(LSOD)旨在检测来自少数甚至零标记数据的对象,其分别可以分为几次对象检测(FSOD)和零拍摄对象检测(ZSD)。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先,本调查将FSOD和ZSD的方法分类为不同的类别,并讨论了它们的利弊。其次,本调查审查了数据集设置和FSOD和ZSD的评估指标,然后分析了在这些基准上的不同方法的性能。最后,本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。
translated by 谷歌翻译
我们研究了标准匪徒问题的扩展,其中有很多专家。多层专家按一层进行选择,只有最后一层的专家才能发挥作用。学习政策的目的是最大程度地减少该等级专家环境中的遗憾。我们首先分析了总遗憾随着层数线性增长的案例。然后,我们关注的是所有专家都在施加上层信心(UCB)策略,并在不同情况下给出了几个子线上界限。最后,我们设计了一些实验,以帮助对分层UCB结构的一般情况进行遗憾分析,并显示我们理论结果的实际意义。本文提供了许多有关合理层次决策结构的见解。
translated by 谷歌翻译
凭借持续学习的能力,人类可以在整个生命周期中不断获得知识。但是,一般而言,计算系统不能顺序学习任务。对深神经网络(DNN)的长期挑战称为灾难性遗忘。已经提出了多种解决方案来克服这一限制。本文对内存重播方法进行了深入的评估,从而探讨了选择重播数据时各种采样策略的效率,性能和可扩展性。所有实验均在各个域下的多个数据集上进行。最后,提供了为各种数据分布选择重播方法的实用解决方案。
translated by 谷歌翻译
许多应用需要机器人通过具有大障碍的地形,例如自动驾驶,搜救和救援和外星探索。虽然机器人在避免稀疏障碍时已经出色,但它们仍然在扭转杂乱的障碍物中挣扎。灵感来自蟑螂的使用和响应具有不同方式的障碍物的障碍物,以跨越不同刚度的草地梁,在这里,我们开发了一种能够进行环境力传感的简约机器人的物理模型,向前推进两个光束以模拟和理解杂乱障碍的遍历。像刚度和偏转位置一样的光束属性可以从测量的嘈杂的梁接触力估计,其富力地随着感测时间而增加。使用这些估计,模型预测了使用势能障碍定义的遍历定义的成本,并使用它来规划和控制机器人以产生并跟踪以最小成本横穿轨迹。在遇到僵硬的光束时,模拟机器人从更昂贵的音高模式转换为更昂贵的滚动模式到遍历。当遇到脆弱的光束时,它选择推动横梁,而不是避免光束的能量成本。最后,我们开发了一个物理机器人并证明了估计方法的有用性。
translated by 谷歌翻译
机器人在遍历搜索和救援等重要应用程序所需的杂乱型大障碍时仍然差。相比之下,动物在这样做,通常使用与障碍物的直接物理相互作用而不是避免它们。在这里,为了了解杂乱的障碍遍历的动态,我们开发了一种简约的随机动力学模拟,灵感来自我们最近的昆虫横穿草地梁的研究。 2-D型系统由前向自行式圆形机车组成,在摩擦水平平面上平移,其具有横向随机力,并与形成栅极的两个相邻的水平梁相互作用。我们发现横向概率随着推进力单调地增加,但首先增加随机力幅度。对于具有不同刚度的不对称光束,横向朝向较强的光束的侧面更可能。这些观察结果符合潜在的能源景观方法的预期。此外,我们以晶格配置延伸单个栅极以形成一个大的杂乱的障碍物。使用从单门仿真获得的输入 - 输出概率图,应用了Markov链蒙特卡罗方法以预测遍历遍历。该方法在预测障碍物场内的主体的最终位置的统计分布时实现了高精度,同时节省了10 ^ 5的计算时间。
translated by 谷歌翻译
本文探讨了深度神经网络(DNN)的特征表示的瓶颈,从DNN中编码的输入变量之间的相互作用的复杂性的角度来看。为此,我们专注于输入变量之间的多阶交互,其中顺序表示交互的复杂性。我们发现DNN更有可能编码过于简单的相互作用和过于复杂的相互作用,但通常无法学习中间复杂性的相互作用。这种现象被不同的DNN广泛共享,用于不同的任务。这种现象表明了DNN和人类之间的认知差距,我们称之为瓶颈。理论上,理论上证明了代表瓶颈的潜在原因。此外,我们提出了鼓励/惩罚特定复杂性的相互作用的损失,并分析不同复杂性相互作用的表示能力。
translated by 谷歌翻译
本文提出了分层和符号和或图形(AOG),客观地解释由训练有素的深层模型进行推理的内部逻辑。我们首先定义博弈论中解释器模型的客观性,我们开发了深层模型编码的逻辑和逻辑的严格表示。AOG解释者的客观性和可信度在理论上和实验验证。此外,我们提出了几种技术来提升解释的简明。
translated by 谷歌翻译
在本文中,我们评估了用于3D点云处理的深神经网络(DNN)中编码的知识表示的质量。我们提出了一种方法来解开整体模型脆弱性进入旋转,翻译,尺度和局部3D结构的敏感性。此外,我们还提出了指标来评估编码3D结构的空间平滑度,以及DNN的表示复杂性。基于此类分析,实验将揭示经典DNN的表现问题,并解释对抗性培训的效用。
translated by 谷歌翻译