The standard empirical risk minimization (ERM) can underperform on certain minority groups (i.e., waterbirds in lands or landbirds in water) due to the spurious correlation between the input and its label. Several studies have improved the worst-group accuracy by focusing on the high-loss samples. The hypothesis behind this is that such high-loss samples are \textit{spurious-cue-free} (SCF) samples. However, these approaches can be problematic since the high-loss samples may also be samples with noisy labels in the real-world scenarios. To resolve this issue, we utilize the predictive uncertainty of a model to improve the worst-group accuracy under noisy labels. To motivate this, we theoretically show that the high-uncertainty samples are the SCF samples in the binary classification problem. This theoretical result implies that the predictive uncertainty is an adequate indicator to identify SCF samples in a noisy label setting. Motivated from this, we propose a novel ENtropy based Debiasing (END) framework that prevents models from learning the spurious cues while being robust to the noisy labels. In the END framework, we first train the \textit{identification model} to obtain the SCF samples from a training set using its predictive uncertainty. Then, another model is trained on the dataset augmented with an oversampled SCF set. The experimental results show that our END framework outperforms other strong baselines on several real-world benchmarks that consider both the noisy labels and the spurious-cues.
translated by 谷歌翻译
来自磁共振成像(MRI)的体积图像在直肠癌的术前分期提供了宝贵的信息。最重要的是,T2和T3阶段之间的准确术前歧视可以说是直肠癌治疗的最具挑战性和临床意义的任务,因为通常建议对T3(或更大)阶段癌症患者进行化学疗法。在这项研究中,我们提出了一个体积卷积神经网络,可准确区分T2与直肠MR体积的T3阶段直肠癌。具体而言,我们提出1)基于自定义的基于重新连接的卷编码器,该编码器与晚期融合的固定间关系建模(即最后一层的3D卷积),2)双线性计算,该计算汇总了编码器所得的功能以创建一个创建一个的功能体积特征和3)三重损失和焦点损失的关节最小化。通过病理确认的T2/T3直肠癌的MR量,我们进行了广泛的实验,以比较残留学习框架内的各种设计。结果,我们的网络达到了0.831的AUC,高于专业放射科医生组的准确性。我们认为该方法可以扩展到其他卷分析任务
translated by 谷歌翻译
归纳转移学习旨在通过利用源任务中的预训练模型来从少量培训数据中学习目标任务。大多数涉及大规模深度学习模型的策略采用预先培训的模型和进行目标任务进行初始化。但是,当使用过度参数化模型时,我们通常可以在不牺牲源任务的准确性的情况下修剪模型。这促使我们采用模型修剪来通过深度学习模型进行转移学习。在本文中,我们提出了PAC-NET,这是一种简单而有效的方法,用于基于修剪的转移学习。 PAC-NET由三个步骤组成:修剪,分配和校准(PAC)。这些步骤背后的主要思想是确定源任务的基本权重,通过更新基本权重来微调源任务,然后通过更新剩余的冗余权重来校准目标任务。在各种广泛的感应转移学习实验集中,我们表明我们的方法通过很大的边距实现了最先进的性能。
translated by 谷歌翻译
许多科学和技术问题与优化有关。其中,高维空间中的黑盒优化尤其具有挑战性。最近基于神经网络的黑盒优化研究表明了值得注意的成就。但是,它们在高维搜索空间中的能力仍然有限。这项研究提出了一种基于进化策略(ES)和生成神经网络(GNN)模型的黑盒优化方法。我们设计了该算法,使ES和GNN模型合作起作用。该混合模型可以对替代网络进行可靠的培训;它优化了多目标,高维和随机黑框函数。我们的方法优于本实验中的基线优化方法,包括ES和贝叶斯优化。
translated by 谷歌翻译
联合分析是一种流行的实验设计,用于测量多维偏好。研究人员研究了在控制其他相关因素的同时如何影响决策。当前,存在两种方法学方法来分析联合实验的数据。第一个重点是估计每个因素的平均边际效应,同时平均其他因素。尽管这允许基于直接设计的估计,但结果严重取决于其他因素的分布以及相互作用效应的汇总方式。一种基于模型的替代方法可以计算各种兴趣,但要求研究人员正确指定模型,这是与许多因素和可能的相互作用的联合分析的挑战性任务。此外,在合并相互作用时,常用的逻辑回归即使具有适度的因素,统计特性也很差。我们提出了一种基于条件随机测试的新假设检验方法,以回答联合分析的最基本问题:考虑到其他因素,感兴趣的因素是否重要?我们的方法仅基于因素的随机化,因此没有假设。但是,它允许研究人员使用任何测试统计量,包括基于复杂的机器学习算法的统计量。结果,我们能够结合现有的基于设计和基于模型的方法的优势。我们通过对移民偏好和政治候选评估的联合分析来说明拟议的方法。我们还扩展了提出的方法来测试联合分析中常用的规律性假设。可以使用开源软件包来实施建议的方法。
translated by 谷歌翻译
优化昂贵以评估黑盒功能在包含D对象的所有排列中的输入空间是许多真实应用的重要问题。例如,在硬件设计中放置功能块以通过仿真优化性能。总体目标是最小化函数评估的数量,以找到高性能的排列。使用贝叶斯优化(BO)框架解决这个问题的关键挑战是折衷统计模型的复杂性和采集功能优化的途径。在本文中,我们提出并评估了博的两个算法(BOPS)。首先,BOPS-T采用高斯工艺(GP)代理模型与KENDALL内核和基于Thompson采样的Trocable采集功能优化方法,以选择评估的排列顺序。其次,BOPS-H采用GP代理模型与锦葵内核和启发式搜索方法,以优化预期的改进采集功能。理论上,从理论上分析BOPS-T的性能,以表明他们的遗憾增加了亚线性。我们对多种综合和现实世界基准测试的实验表明,BOPS-T和BOPS-H均优于组合空间的最先进的BO算法。为了推动未来的对这个重要问题的研究,我们为社区提供了新的资源和现实世界基准。
translated by 谷歌翻译
时域仿真是电力系统瞬态稳定性分析的基础。准确可靠的模拟取决于准确的动态分量建模。在实用电力系统中,动态元件建模长期面临模型测定和模型校准的挑战,特别是随着可再生于可再生发电和电力电子产品的快速发展。本文基于神经常规差分方程(ODES)的一般框架,提出了一种具有外部输入和神经差分 - 代数方程(DAES)模块的神经竞争模块,用于电力系统动态分量模型。提出了基于AutoEncoder的框架,以提高培训型号的性能。还证明了将所提出的神经模块训练的神经动态模型集成到瞬态稳定性模拟的方法。对于由输入变量和输出变量的采样曲线组成的数据集,所提出的模块可用于满足黑匣子建模,物理数据集成建模,参数推断等的任务。测试是在IEEE-39中进行的测试系统证明提出的模块的有效性和潜力。
translated by 谷歌翻译
集合学习的优点在于在单个输入上的许多单个模型中具有不同的输出,即基础模型的多样性。当每个模型专门用于整个数据集的不同子集时,可以实现高质量的多样性。此外,当每个模型明确了解它专门的子集时,有更多的机会来提高多样性。在本文中,我们提出了一种先进的集合方法,称为基于辅助类的多项选择学习(AMCL),最终在多项选择学习(MCL)的框架下专注于每个模型。 AMCL的进步来自三种新颖的技术,控制来自不同方向的框架:1)辅助类的概念通过标签提供更明显的信息,2)策略,名称基于内存的分配,以确定关联之间的关联输入和模型,以及3)特征融合模块实现广义特征。为了展示与MCL方法的所有变体相比我们方法的性能,我们对图像分类和分割任务进行了广泛的实验。总体而言,AMCL的性能超过所有其他公共数据集中的所有其他公共数据集的所有其他人都作为合奏的成员培训。
translated by 谷歌翻译
The 3D-aware image synthesis focuses on conserving spatial consistency besides generating high-resolution images with fine details. Recently, Neural Radiance Field (NeRF) has been introduced for synthesizing novel views with low computational cost and superior performance. While several works investigate a generative NeRF and show remarkable achievement, they cannot handle conditional and continuous feature manipulation in the generation procedure. In this work, we introduce a novel model, called Class-Continuous Conditional Generative NeRF ($\text{C}^{3}$G-NeRF), which can synthesize conditionally manipulated photorealistic 3D-consistent images by projecting conditional features to the generator and the discriminator. The proposed $\text{C}^{3}$G-NeRF is evaluated with three image datasets, AFHQ, CelebA, and Cars. As a result, our model shows strong 3D-consistency with fine details and smooth interpolation in conditional feature manipulation. For instance, $\text{C}^{3}$G-NeRF exhibits a Fr\'echet Inception Distance (FID) of 7.64 in 3D-aware face image synthesis with a $\text{128}^{2}$ resolution. Additionally, we provide FIDs of generated 3D-aware images of each class of the datasets as it is possible to synthesize class-conditional images with $\text{C}^{3}$G-NeRF.
translated by 谷歌翻译
Cellular automata (CA) captivate researchers due to teh emergent, complex individualized behavior that simple global rules of interaction enact. Recent advances in the field have combined CA with convolutional neural networks to achieve self-regenerating images. This new branch of CA is called neural cellular automata [1]. The goal of this project is to use the idea of idea of neural cellular automata to grow prediction machines. We place many different convolutional neural networks in a grid. Each conv net cell outputs a prediction of what the next state will be, and minimizes predictive error. Cells received their neighbors' colors and fitnesses as input. Each cell's fitness score described how accurate its predictions were. Cells could also move to explore their environment and some stochasticity was applied to movement.
translated by 谷歌翻译