部署在医学成像任务上的机器学习模型必须配备分布外检测功能,以避免错误的预测。不确定依赖于深神经网络的分布外检测模型是否适合检测医学成像中的域移位。高斯流程可以通过其数学结构可靠地与分布数据点可靠地分开分发数据点。因此,我们为分层卷积高斯工艺提出了一个参数有效的贝叶斯层,该过程融合了在Wasserstein-2空间中运行的高斯过程,以可靠地传播不确定性。这直接用远距离的仿射操作员在分布中直接取代了高斯流程。我们对脑组织分割的实验表明,所得的架构接近了确定性分割算法(U-NET)的性能,而先前的层次高斯过程尚未实现。此外,通过将相同的分割模型应用于分布外数据(即具有病理学(例如脑肿瘤)的图像),我们表明我们的不确定性估计导致分布外检测,以优于以前的贝叶斯网络和以前的贝叶斯网络的功能基于重建的方法学习规范分布。为了促进未来的工作,我们的代码公开可用。
translated by 谷歌翻译
对头部磁共振成像(MRI)检查的需求不断增长,以及全球放射科医生的短缺,导致在全球报告头部MRI扫描所花费的时间增加。对于许多神经系统疾病,这种延迟会导致发病率和死亡率增加。一种自动分解工具可以通过在成像时识别异常并确定这些扫描的报告优先级来减少异常检查的报告时间。在这项工作中,我们提出了一个卷积神经网络,用于检测$ \ text {t} _2 $加权的头部MRI扫描中临床上相关的异常。使用经过验证的神经放射学报告分类器,我们从两家英国两家大型医院进行了43,754张标记的数据集,以进行模型培训,并在800张测试集上证明了准确的分类(AUC下的区域(AUC)= 0.943),由800张扫描集进行了标签。神经放射学家团队。重要的是,当仅在一家医院接受扫描培训时,模型从另一家医院进行了扫描($ \ delta $ auc $ \ leq $ 0.02)。一项模拟研究表明,我们的模型将使异常检查的平均报告时间从28天到14天,并从两家医院的9天到5天,这表明在临床分类环境中使用了可行性。
translated by 谷歌翻译
Knowledge distillation (KD) has gained a lot of attention in the field of model compression for edge devices thanks to its effectiveness in compressing large powerful networks into smaller lower-capacity models. Online distillation, in which both the teacher and the student are learning collaboratively, has also gained much interest due to its ability to improve on the performance of the networks involved. The Kullback-Leibler (KL) divergence ensures the proper knowledge transfer between the teacher and student. However, most online KD techniques present some bottlenecks under the network capacity gap. By cooperatively and simultaneously training, the models the KL distance becomes incapable of properly minimizing the teacher's and student's distributions. Alongside accuracy, critical edge device applications are in need of well-calibrated compact networks. Confidence calibration provides a sensible way of getting trustworthy predictions. We propose BD-KD: Balancing of Divergences for online Knowledge Distillation. We show that adaptively balancing between the reverse and forward divergences shifts the focus of the training strategy to the compact student network without limiting the teacher network's learning process. We demonstrate that, by performing this balancing design at the level of the student distillation loss, we improve upon both performance accuracy and calibration of the compact student network. We conducted extensive experiments using a variety of network architectures and show improvements on multiple datasets including CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet. We illustrate the effectiveness of our approach through comprehensive comparisons and ablations with current state-of-the-art online and offline KD techniques.
translated by 谷歌翻译
Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.
translated by 谷歌翻译
知识蒸馏(KD)是压缩边缘设备深层分类模型的有效工具。但是,KD的表现受教师和学生网络之间较大容量差距的影响。最近的方法已诉诸KD的多个教师助手(TA)设置,该设置依次降低了教师模型的大小,以相对弥合这些模型之间的尺寸差距。本文提出了一种称为“知识蒸馏”课程专家选择的新技术,以有效地增强在容量差距问题下对紧凑型学生的学习。该技术建立在以下假设的基础上:学生网络应逐渐使用分层的教学课程来逐步指导,因为它可以从较低(较高的)容量教师网络中更好地学习(硬)数据样本。具体而言,我们的方法是一种基于TA的逐渐的KD技术,它每个输入图像选择单个教师,该课程是基于通过对图像进行分类的难度驱动的课程的。在这项工作中,我们凭经验验证了我们的假设,并对CIFAR-10,CIFAR-100,CINIC-10和Imagenet数据集进行了严格的实验,并在类似VGG的模型,Resnets和WideresNets架构上显示出提高的准确性。
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录(EHR)数据的许多挑战,但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论(OBO)铸造本体论提供了可用于生物学知识的语义计算表示,并能够整合多种生物医学数据。但是,将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架,用于将观察性医学成果合作伙伴关系(OMOP)标准词汇介绍给OBO铸造本体。使用此框架,我们制作了92,367条条件,8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性,并且在24家医院进行检查时,映射覆盖了99%的条件和药物成分和68%的测量结果。最后,我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
基于BERT的微调模型在内存,计算和时间上是资源密集的。尽管许多先前的工作旨在通过压缩技术(例如修剪)提高推论效率,但这些作品并未明确解决培训对下游任务的计算挑战。我们介绍了学习者模块和启动,新颖的方法,以利用预训练的语言模型的过度参数化,以获得收敛速度和资源利用率的好处。学习者模块通过微调参数的微调来导航1)有效训练的双结合,以及2)通过确保快速收敛和高度度量得分有效训练。我们在Distilbert上的结果表明,学习者在与基础方面的表现或超过基线。学习者训练7倍的参数比胶水上的最新方法少。在可乐方面,学习者快速调整20%,并且资源利用率显着降低。
translated by 谷歌翻译
传统的视听模型具有独立的音频和视频分支。我们设计了一个统一的音频和视频处理模型,称为统一音频 - 视听模型(UAVM)。在本文中,我们描述了UAVM,报告其在VGGSOUND上的新最新音频事件分类精度为65.8%,并描述模型的有趣属性。
translated by 谷歌翻译
源自建筑环境的规律性的线性透视图可用于在线重新校准内在和外在的摄像机参数,但是由于场景中的不规则性,线段估计和背景混乱中的不确定性,这些估计值可能是不可靠的。在这里,我们通过四个计划来应对这一挑战。首先,我们使用PanoContext全景图数据集[27]来策划一个新颖而逼真的平面投影数据集,这些数据集在广泛的场景,焦距和相机姿势上。其次,我们使用这个新颖的数据集和YorkurbandB [4]来系统地评估文献中经常发现的线性透视偏差度量,并表明偏差度量和可能性模型的选择对可靠性具有巨大的影响。第三,我们使用这些发现来创建一个用于在线摄像机校准的新型系统,我们称之为fr,并表明它的表现优于先前的最新状态,从而大大减少了估计的摄像机旋转和焦距的错误。我们的第四个贡献是一种新颖有效的方法来估计不确定性,可以通过战略性地选择用于重新校准的哪种框架来大大提高对性能至关重要的应用程序的在线可靠性。
translated by 谷歌翻译
在不完整的数据集中对样本进行分类是机器学习从业人员的普遍目的,但并非平凡。在大多数现实世界数据集中发现缺失的数据,这些缺失值通常是使用已建立的方法估算的,然后进行分类现在完成,估算的样本。然后,机器学习研究人员的重点是优化下游分类性能。在这项研究中,我们强调必须考虑插补的质量。我们展示了如何评估质量的常用措施有缺陷,并提出了一类新的差异评分,这些分数着重于该方法重新创建数据的整体分布的程度。总而言之,我们强调了使用不良数据训练的分类器模型的可解释性损害。
translated by 谷歌翻译