磁共振光谱成像(MRSI)是量化体内代谢物的必不可少的工具,但是低空间分辨率限制了其临床应用。基于深度学习的超分辨率方法为改善MRSI的空间分辨率提供了有希望的结果,但是与实验获得的高分辨率图像相比,超级分辨图像通常是模糊的。已经使用生成对抗网络进行了尝试,以提高图像视觉质量。在这项工作中,我们考虑了另一种类型的生成模型,即基于流的模型,与对抗网络相比,训练更稳定和可解释。具体而言,我们提出了一个基于流动的增强器网络,以提高超分辨率MRSI的视觉质量。与以前的基于流的模型不同,我们的增强器网络包含了来自其他图像模式(MRI)的解剖信息,并使用可学习的基础分布。此外,我们施加指南丢失和数据一致性丢失,以鼓励网络在保持高忠诚度的同时以高视觉质量生成图像。从25名高级神经胶质瘤患者获得的1H-MRSI数据集上进行的实验表明,我们的增强子网络的表现优于对抗网络和基线基线方法。我们的方法还允许视觉质量调整和不确定性估计。
translated by 谷歌翻译
磁共振光谱成像(MRSI)是研究人体代谢活动的宝贵工具,但目前的应用仅限于低空间分辨率。现有的基于深度学习的MRSI超分辨率方法需要培训一个单独的网络,为每个升级因素训练,这是耗时的,并且记忆力低下。我们使用过滤器缩放策略来解决这个多尺度的超分辨率问题,该级别的缩放策略根据升级因素调节卷积过滤器,以便可以将单个网络用于各种高尺度因素。观察每个代谢物具有不同的空间特征,我们还根据特定的代谢产物调节网络。此外,我们的网络基于对抗损失的重量,因此可以在单个网络中调整超级分辨代谢图的感知清晰度。我们使用新型的多条件模块结合了这些网络条件。实验是在15名高级神经胶质瘤患者的1H-MRSI数据集上进行的。结果表明,所提出的网络在多种多尺度超分辨率方法中实现了最佳性能,并且可以提供具有可调清晰度的超级分辨代谢图。
translated by 谷歌翻译
Federated learning is a collaborative method that aims to preserve data privacy while creating AI models. Current approaches to federated learning tend to rely heavily on secure aggregation protocols to preserve data privacy. However, to some degree, such protocols assume that the entity orchestrating the federated learning process (i.e., the server) is not fully malicious or dishonest. We investigate vulnerabilities to secure aggregation that could arise if the server is fully malicious and attempts to obtain access to private, potentially sensitive data. Furthermore, we provide a method to further defend against such a malicious server, and demonstrate effectiveness against known attacks that reconstruct data in a federated learning setting.
translated by 谷歌翻译
We present SLATE, a sequence labeling approach for extracting tasks from free-form content such as digitally handwritten (or "inked") notes on a virtual whiteboard. Our approach allows us to create a single, low-latency model to simultaneously perform sentence segmentation and classification of these sentences into task/non-task sentences. SLATE greatly outperforms a baseline two-model (sentence segmentation followed by classification model) approach, achieving a task F1 score of 84.4\%, a sentence segmentation (boundary similarity) score of 88.4% and three times lower latency compared to the baseline. Furthermore, we provide insights into tackling challenges of performing NLP on the inking domain. We release both our code and dataset for this novel task.
translated by 谷歌翻译
近年来,商业上可用和负担得起的四足动物机器人激增,其中许多平台在研究和行业中都被积极使用。随着腿部机器人的可用性的增长,对这些机器人能够执行有用技能的控制器的需求也是如此。但是,大多数用于控制器开发的基于学习的框架都集中在培训机器人特定的控制器上,该过程需要为每个新机器人重复。在这项工作中,我们引入了一个用于训练四足机器人的广义运动(Genloco)控制器的框架。我们的框架合成了可以部署在具有相似形态的各种四足动物的机器人上的通用运动控制器。我们提出了一种简单但有效的形态随机化方法,该方法在程序上生成了一组训练的模拟机器人。我们表明,通过对这套模拟机器人进行训练,我们的模型获得了更多的通用控制策略,这些策略可以直接转移到具有多种形态的新型模拟和真实世界机器人中,在训练过程中未观察到。
translated by 谷歌翻译
现在,整个研究社区都可以广泛使用机器学习(ML),它促进了这些新兴的数学技术在广泛学科中的新型和引人注目的应用的扩散。在本文中,我们将重点介绍一个特定的案例研究:古人类学领域,该领域旨在根据生物学和文化证据理解人类的演变。正如我们将表明的那样,ML算法的易用性以及在人类学研究界的适当使用方面缺乏专业知识,导致了整个文献中出现的基本错误应用。结果不可靠的结果不仅破坏了将ML合法纳入人类学研究的努力,而且还会对我们的人类进化和行为过去产生潜在的理解。本文的目的是简要介绍古人类学中ML的某些方式;我们还为那些与该领域完全熟悉的人提供了一些基本ML算法的调查,而该领域仍在积极发展。我们讨论了一系列的错误,错误和违反正确的ML方法方案的行为,这些方法经常在人类学文献的积累体内出现令人不安。这些错误包括使用过时的算法和实践;不适当的火车/测试拆分,样本组成和文本解释;以及由于缺乏数据/代码共享以及随后对独立复制的限制而缺乏透明度。我们断言,扩大样本,共享数据和代码,重新评估同行评审的方法,以及最重要的是,开发包括ML专家在内的跨学科团队对于将ML在人类学中纳入ML的未来研究的进步都是必要的。
translated by 谷歌翻译
基于非线性吸引力 - 抑制力的方法(包括T-SNE,UMAP,FORCEATLAS2,grounvis等)主导了维度降低的现代方法。本文的目的是证明所有此类方法,通过设计,都带有一个沿途自动计算的附加功能,即与这些力相关的向量场。我们展示了该向量领域如何提供其他高质量信息,并根据莫尔斯理论的思想提出了一般的完善策略。这些想法的效率是使用T-SNE在合成和现实生活数据集上专门说明的。
translated by 谷歌翻译
我们提出Hypernst;基于超网络和stylegan2体系结构的图像艺术风格的神经风格转移(NST)技术。我们的贡献是一种新颖的方法,用于诱导通过度量空间进行参数化的样式转移,并预先训练基于样式的视觉搜索(SBV)。我们首次证明可以使用此类空间来驱动NST,从而从SBVS系统中启用样式的应用程序和插值。技术贡献是一个超网络,可以预测对型号的stylegan2的重量更新,而在各种各样的艺术内容(肖像)上,可以使用面部区域的语义图在每个区域量身定制样式参数化。我们在保留良好的风格转移性能的同时,在内容保存方面显示了超越最高的内容。
translated by 谷歌翻译
纯视觉变压器体系结构对于简短的视频分类和动作识别任务非常有效。但是,由于自我注意力的二次复杂性和缺乏归纳偏见,变压器是资源密集的,并且遭受了数据效率低下的困扰。长期的视频理解任务扩大了变压器的数据和内存效率问题,使当前方法无法在数据或内存限制域上实施。本文介绍了有效的时空注意网络(Stan),该网络使用两流变压器体系结构来模拟静态图像特征和时间上下文特征之间的依赖性。我们提出的方法可以在单个GPU上进行长达两分钟的视频,这是数据效率的,并且可以在几个长的视频理解任务上实现SOTA性能。
translated by 谷歌翻译
超声心动图参数的准确和一致的预测对于心血管诊断和治疗至关重要。特别是,左心室的分割可用于得出心室体积,射血分数(EF)和其他相关测量值。在本文中,我们提出了一种新的自动化方法,称为地位谱图,用于通过检测解剖关键来预测射血分数和分割左心室。基于图形卷积网络(GCN)的直接坐标回归模型用于检测关键点。 GCN可以学会根据每个关键点的局部外观以及所有关键点的全局空间和时间结构来表示心脏形状。我们在echonet基准数据集上评估了我们的电子位计模型。与语义分割相比,GCN显示出准确的分割和鲁棒性和推理运行时的改进。 EF是同时计算的与分割的,我们的方法还获得了最新的射血分数估计。源代码可在线获得:https://github.com/guybenyosef/echographs。
translated by 谷歌翻译