Learning with noisy labels is a vital topic for practical deep learning as models should be robust to noisy open-world datasets in the wild. The state-of-the-art noisy label learning approach JoCoR fails when faced with a large ratio of noisy labels. Moreover, selecting small-loss samples can also cause error accumulation as once the noisy samples are mistakenly selected as small-loss samples, they are more likely to be selected again. In this paper, we try to deal with error accumulation in noisy label learning from both model and data perspectives. We introduce mean point ensemble to utilize a more robust loss function and more information from unselected samples to reduce error accumulation from the model perspective. Furthermore, as the flip images have the same semantic meaning as the original images, we select small-loss samples according to the loss values of flip images instead of the original ones to reduce error accumulation from the data perspective. Extensive experiments on CIFAR-10, CIFAR-100, and large-scale Clothing1M show that our method outperforms state-of-the-art noisy label learning methods with different levels of label noise. Our method can also be seamlessly combined with other noisy label learning methods to further improve their performance and generalize well to other tasks. The code is available in https://github.com/zyh-uaiaaaa/MDA-noisy-label-learning.
translated by 谷歌翻译
现代机器学习系统在大型数据集中培训时取得了巨大的成功。但是,这些数据集通常包含敏感信息(例如医疗记录,面部图像),导致严重的隐私问题。差异化私有生成模型(DPGM)通过生成私有化的敏感数据来避免此类隐私问题的解决方案。与其他差异私人(DP)学习者类似,DPGM的主要挑战也是如何在效用和隐私之间取得微妙的平衡。我们提出了DP $^2 $ -VAE,这是一种具有可证明的DP保证的变性自动编码器(VAE)的新型培训机制,并通过\ emph {pre-emph {pre-emph {prec-emph {pret-emph {pret-training}。在相同的DP约束下,DP $^2 $ -VAE最大程度地减少了训练过程中的扰动噪声,从而改善了实用性。 DP $^2 $ -VAE非常灵活,并且对许多其他VAE变体都很容易适应。从理论上讲,我们研究了预训练对私人数据的影响。从经验上讲,我们在图像数据集上进行了广泛的实验,以说明我们在各种隐私预算和评估指标下对基准的优越性。
translated by 谷歌翻译
近年来,人们对可解释的AI(XAI)领域的兴趣激增,文献中提出了很多算法。但是,关于如何评估XAI的共识缺乏共识阻碍了该领域的发展。我们强调说,XAI并不是一组整体技术 - 研究人员和从业人员已经开始利用XAI算法来构建服务于不同使用环境的XAI系统,例如模型调试和决策支持。然而,对XAI的算法研究通常不会考虑到这些多样化的下游使用环境,从而对实际用户产生有限的有效性甚至意想不到的后果,以及从业者做出技术选择的困难。我们认为,缩小差距的一种方法是开发评估方法,这些方法在这些用法上下文中说明了不同的用户需求。为了实现这一目标,我们通过考虑XAI评估标准对XAI的原型用法上下文的相对重要性,介绍了情境化XAI评估的观点。为了探索XAI评估标准的上下文依赖性,我们进行了两项调查研究,一项与XAI主题专家,另一项与人群工人进行。我们的结果敦促通过使用使用的评估实践进行负责任的AI研究,并在不同使用环境中对XAI的用户需求有细微的了解。
translated by 谷歌翻译
由于客户之间缺乏数据和统计多样性,联合学习从模型过度适应的巨大挑战面临巨大的挑战。为了应对这些挑战,本文提出了一种新型的个性化联合学习方法,该方法通过贝叶斯变异推断为pfedbayes。为了减轻过度拟合,将重量不确定性引入了客户和服务器的神经网络。为了实现个性化,每个客户端通过平衡私有数据的构建错误以及其KL Divergence与服务器的全局分布来更新其本地分布参数。理论分析给出了平均泛化误差的上限,并说明了概括误差的收敛速率是最小到对数因子的最佳选择。实验表明,所提出的方法在个性化模型上的表现优于其他高级个性化方法,例如Pfedbayes在MNIST,FMNIST和NON-I.I.I.D下,Pfedbayes的表现分别超过其他SOTA算法的其他SOTA算法的表现为1.25%,0.42%和11.71%。有限的数据。
translated by 谷歌翻译
无监督域自适应对象检测的自我训练是一项艰巨的任务,其性能在很大程度上取决于伪盒的质量。尽管结果有令人鼓舞,但先前的工作在很大程度上忽略了自训练期间伪箱的不确定性。在本文中,我们提出了一个简单而有效的框架,称为概率教师(PT),该框架旨在从逐渐发展的教师中捕获未标记的目标数据的不确定性,并以互惠互利的方式指导学生学习学生。具体而言,我们建议利用不确定性引导的一致性训练来促进分类适应和本地化适应,而不是通过精心设计的置信度阈值过滤伪盒。此外,我们与定位适应同时进行锚定适应性,因为锚被视为可学习的参数。与此框架一起,我们还提出了一种新颖的熵局灶性损失(EFL),以进一步促进不确定性引导的自我训练。配备了EFL,PT的表现优于所有以前的基线,并实现了新的最先进。
translated by 谷歌翻译
当模型的表现在社会或文化相关的群体上(类别,性别或许多此类群体的交集)时,通常称为“偏见”。尽管在过去几年中,算法公平的大部分工作都集中在开发模型公平的各种定义(缺乏小组模型绩效差异)和消除这种“偏见”的情况下,但较少的工作已经严格地衡量了它。在实践中,重要的是要对模型性能差异以及相关的不确定性量化具有高质量的人类消化率衡量标准,这些量子可以用作多方面的决策过程的投入。在本文中,我们在数学上和模拟中都表明,许多用于衡量小组模型绩效差异的指标本身都是他们声称代表的基本数量的统计偏差估计器。我们认为,这可能会导致关于沿不同维度的相对群体模型绩效差异的误导性结论,尤其是在某些敏感变量由少数成员组成的类别组成的情况下。我们提出了“双重校正”方差估计器,该方差估计器提供了无偏的估计和跨组模型性能方差的不确定性量化。它在概念上是简单易于实现的,没有统计软件包或数值优化。我们通过仿真证明了这种方法的实用性,并在真实数据集中证明,尽管在统计上有偏见的群体模型性能差异估计量表示统计上的显着差异,但当估计估计器中的统计偏差时,估计的组间差异不再是具有统计学意义。
translated by 谷歌翻译
联合学习(FL)已成为一个重要的机器学习范例,其中全局模型根据分布式客户端的私有数据培训。然而,由于分布转移,现有的大多数流体算法不能保证对不同客户或不同的样本组的性能公平。最近的研究侧重于在客户之间实现公平性,但它们忽视了敏感属性(例如,性别和/或种族)形成的不同群体的公平,这在实际应用中是重要和实用的。为了弥合这一差距,我们制定统一小组公平的目标,该目标是在不同群体中学习具有类似表现的公平全球模式。为了实现任意敏感属性的统一组公平,我们提出了一种新颖的FL算法,命名为集团分布强制性联邦平均(G-DRFA),其跨组减轻了与收敛速度的理论分析的分布转移。具体而言,我们将联邦全球模型的性能视为目标,并采用分布稳健的技术,以最大化最坏性地组的性能在组重新传递集团的不确定性上。我们在实验中验证了G-DRFA算法的优点,结果表明,G-DRFA算法优于统一组公平现有的公平联合学习算法。
translated by 谷歌翻译
联合学习(FL)是一种在不获取客户私有数据的情况下培训全球模型的协同机器学习技术。 FL的主要挑战是客户之间的统计多样性,客户设备之间的计算能力有限,以及服务器和客户之间的过度沟通开销。为解决这些挑战,我们提出了一种通过最大化FEDMAC的相关性稀疏个性化联合学习计划。通过将近似的L1-norm和客户端模型与全局模型之间的相关性结合到标准流失函数中,提高了统计分集数据的性能,并且与非稀疏FL相比,网络所需的通信和计算负载减少。收敛分析表明,FEDMAC中的稀疏约束不会影响全球模型的收敛速度,理论结果表明,FEDMAC可以实现良好的稀疏个性化,这比基于L2-NOM的个性化方法更好。实验,我们展示了与最先进的个性化方法相比的这种稀疏个性化建筑的益处(例如,FEDMAC分别达到98.95%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,99.37%,高精度,FMNIST,CIFAR-100和非IID变体下的合成数据集)。
translated by 谷歌翻译
高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用,这对于识别物质至关重要。但是,获取高光谱图像的设备昂贵且复杂。因此,已经通过直接从低成本,更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明,尽管速度较低,但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源,从而进一步启发了相关领域的未来发展方向。
translated by 谷歌翻译
本文研究了如何改善接受深入增强学习训练的导航剂的概括性能和学习速度(DRL)。尽管DRL在无机MAP导航中表现出巨大的潜力,但在训练场景中表现良好的DRL代理在不熟悉的情况下经常表现不佳。在这项工作中,我们建议LIDAR读数的表示是代理商效果退化的关键因素,并提出了一种强大的输入预处理(IP)方法来解决此问题。由于这种方法使用适应性的参数倒数函数来预处理激光雷达读数,因此我们将此方法称为IPAPREC及其归一化版本为IPAPRECN。 IPAPREC/IPAPRECN可以突出显示重要的短距离值,并压缩激光扫描中较重要的长距离值的范围,该值很好地解决了由激光扫描的常规表示引起的问题。通过广泛的模拟和现实世界实验来验证它们的高性能。结果表明,与常规方法相比,我们的方法可以大大改善导航剂的概括性能,并大大减少训练时间。
translated by 谷歌翻译