我们开发了一种从2D RGB图像生成3D手网格的旋转等级模型。这保证了当手的输入图像旋转时,所生成的网格经历相应的旋转。此外,这消除了经常通过无旋转标准天例的方法产生的网格中的不希望的变形。通过构建旋转等级模型,通过考虑问题的对称性,我们减少了对非常大的数据集训练的需求,以实现良好的网格重建。编码器在$ \ mathbb {z} ^ {2} $上定义的图像,并将这些映射到组$ c_ {8} $上定义的潜在函数。我们介绍了一种新颖的向量映射函数来将以$ c_ {8} $定义的函数映射到组$ \ mathrm {so}(2)$上定义的潜在点云空间。此外,我们介绍了一种3D投影函数,它从$ \ mathrm {so}(2)$潜空间中学习3D功能。最后,我们使用$ \ mathrm {so}(3)$ arifariant解码器,以确保旋转标准。我们的旋转设备模型优于现实世界数据集的最先进方法,我们证明它可以准确地捕获在输入手的旋转下产生的网格中的形状和姿势。
translated by 谷歌翻译
形状空间学习的任务涉及使用良好的概括性属性映射到从潜在表示空间的列车组。通常,真实世界的形状系列具有对称性,可以定义为不改变形状本质的转换。在形状空间学习中纳入对称性的自然方式是要求将其映射到形状空间(编码器)和从形状空间(解码器)映射到相关的对称。在本文中,我们通过引入两个贡献,提出了一种在编码器和解码器中融入设备和解码器的框架:(i)适应建设通用,高效和最大富有表现力的Autorencoders的最近帧平均(FA)框架; (ii)构建自动化器等于分段欧几里德运动的分段应用于形状的不同部分。据我们所知,这是第一个完全分段的欧几里德的欧洲等自动化器建设。培训我们的框架很简单:它使用标准的重建损失,不需要引入新的损失。我们的体系结构由标准(骨干网)架构构成,具有适当的帧平均,使其成为等效。使用隐式的神经表示,在两个刚性形状数据集上测试我们的框架,并使用基于网格的神经网络的铰接形状数据集显示出技术的概括,以通过大边缘改善相关基线。特别地,我们的方法表明了概括铰接姿势的概括性的显着改善。
translated by 谷歌翻译
森林砍伐已成为气候变化的重要因素,并且由于这一点,分类驱动程序和预测森林砍伐的分割地图都引起了重大兴趣。在这项工作中,我们开发了一种旋转等级卷积神经网络模型,以预测驱动程序并从Landsat 8卫星图像生成砍伐森林事件的分割地图。这优于先前的方法对驱动程序进行分类并预测砍伐森林的分割图,在分割准确度提高了9%的分类精度和7%的改进。另外,该方法预测输入图像旋转下的稳定分割图,这确保了森林砍伐的预测区域不依赖于卫星的旋转方向。
translated by 谷歌翻译
基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大,因此具有挑战性。理想情况下,我们的模型将是对物体姿势变化的不变或等效的。不幸的是,对于2D图像输入,这通常是不可能的,因为我们没有一个先验模型,即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}(3)$ - 当前存在的模型需要点云输入而不是2D图像。在本文中,我们提出了一种基于Icosahedral群卷积的新型模型体系结构,即通过将输入图像投影到iCosahedron上,以$ \ mathrm {so(3)} $中的理由。由于此投影,该模型大致与$ \ mathrm {so}(3)$中的旋转大致相当。我们将此模型应用于对象构成估计任务,并发现它的表现优于合理的基准。
translated by 谷歌翻译
在这项工作中,我们开发了一种新的方法,名为局部排列的图形神经网络,它为建立在本地节点邻域,通过子图形的构建图形神经网络的框架,同时使用置换等值更新功能。消息传递神经网络的消息被认为是有效应功率的限制,并且最近过度的方法缺乏可扩展性或需要将结构信息被编码为特征空间。这里呈现的一般框架克服了通过通过受限制表示在子图上操作的与全局排列等值相关的可扩展性问题。此外,我们证明了通过使用限制的陈述没有丧失表情。此外,所提出的框架仅需要选择$ k $-hops,用于创建用于为每层使用的子图和选择的表示空间,这使得该方法在一系列基于图形的域中可以容易地适用。我们通过实验验证了一系列图形基准分类任务的方法,在所有基准上展示了最先进的结果或非常竞争力的结果。此外,我们证明使用本地更新函数的使用在全球方法上提供了GPU存储器的显着改进。
translated by 谷歌翻译
事实证明,与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上,包括翻译,旋转,缩放,节点排列和仪表变换。迄今为止,没有现有的体系结构与所有这些转换都不相同。在本文中,我们提出了一个基于注意力的网格数据的架构,该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用:一种简单,有效,等效性的替代品,可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实,我们提出的架构在这些基准测试中的性能提高了,并且确实是对各种本地/全球转换的均等,因此具有强大的功能。
translated by 谷歌翻译
模棱两可的神经网络,其隐藏的特征根据G组作用于数据的表示,表现出训练效率和提高的概括性能。在这项工作中,我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略,其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是,网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件,并提出了对任何G(离散且连续的)有效的构造。我们明确描述了我们的旋转,翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。
translated by 谷歌翻译
定义网格上卷积的常用方法是将它们作为图形解释并应用图形卷积网络(GCN)。这种GCNS利用各向同性核,因此对顶点的相对取向不敏感,从而对整个网格的几何形状。我们提出了规范的等分性网状CNN,它概括了GCNS施加各向异性仪表等级核。由于产生的特征携带方向信息,我们引入了通过网格边缘并行传输特征来定义的几何消息传递方案。我们的实验验证了常规GCN和其他方法的提出模型的显着提高的表达性。
translated by 谷歌翻译
合并对称性可以通过定义通过转换相关的数据样本的等效类别来导致高度数据效率和可推广的模型。但是,表征转换如何在输入数据上作用通常很困难,从而限制了模型模型的适用性。我们提出了编码输入空间(例如图像)的学习对称嵌入网络(SENS),我们不知道转换的效果(例如旋转),以在这些操作下以已知方式转换的特征空间。可以通过模棱两可的任务网络端对端训练该网络,以学习明确的对称表示。我们在具有3种不同形式的对称形式的模棱两可的过渡模型的背景下验证了这种方法。我们的实验表明,SENS有助于将模棱两可的网络应用于具有复杂对称表示的数据。此外,相对于全等级和非等价基线的准确性和泛化可以提高准确性和概括。
translated by 谷歌翻译
Computational fluid dynamics (CFD) is a valuable asset for patient-specific cardiovascular-disease diagnosis and prognosis, but its high computational demands hamper its adoption in practice. Machine-learning methods that estimate blood flow in individual patients could accelerate or replace CFD simulation to overcome these limitations. In this work, we consider the estimation of vector-valued quantities on the wall of three-dimensional geometric artery models. We employ group-equivariant graph convolution in an end-to-end SE(3)-equivariant neural network that operates directly on triangular surface meshes and makes efficient use of training data. We run experiments on a large dataset of synthetic coronary arteries and find that our method estimates directional wall shear stress (WSS) with an approximation error of 7.6% and normalised mean absolute error (NMAE) of 0.4% while up to two orders of magnitude faster than CFD. Furthermore, we show that our method is powerful enough to accurately predict transient, vector-valued WSS over the cardiac cycle while conditioned on a range of different inflow boundary conditions. These results demonstrate the potential of our proposed method as a plugin replacement for CFD in the personalised prediction of hemodynamic vector and scalar fields.
translated by 谷歌翻译
将对称性作为归纳偏置纳入神经网络体系结构已导致动态建模的概括,数据效率和身体一致性的提高。诸如CNN或e夫神经网络之类的方法使用重量绑定来强制执行对称性,例如偏移不变性或旋转率。但是,尽管物理定律遵守了许多对称性,但实际动力学数据很少符合严格的数学对称性,这是由于嘈杂或不完整的数据或基础动力学系统中的对称性破坏特征。我们探索近似模棱两可的网络,这些网络偏向于保存对称性,但并非严格限制这样做。通过放松的均衡约束,我们发现我们的模型可以胜过两个基线,而在模拟的湍流域和现实世界中的多流射流流中都没有对称性偏差和基线,并且具有过度严格的对称性。
translated by 谷歌翻译
计算流体动力学(CFD)是一种有价值的工具,用于动脉中血流动力学的个性化,非侵入性评估,但其复杂性和耗时的大自然在实践中禁止大规模使用。最近,已经研究了利用深度学习进行CFD参数的快速估计,如表面网格上的壁剪切应力(WSS)。然而,现有方法通常取决于表面网格的手工制作的重新参数化以匹配卷积神经网络架构。在这项工作中,我们建议使用Mesh卷积神经网络,该网状神经网络直接在CFD中使用的相同的有限元表面网格操作。我们在使用从CFD模拟中获得的地面真理培训并在两种合成冠状动脉模型的两种数据集上培训和评估我们的方法。我们表明我们灵活的深度学习模型可以准确地预测该表面网上的3D WSS矢量。我们的方法在少于5分钟内处理新网格,始终如一地实现$ \ LEQ $ 1.6 [%]的标准化平均值误差,并且在保持测试集中的90.5 [%]中位近似精度为90.5 [%]的峰值,比较以前发表的工作。这证明了CFD代理建模的可行性,使用网状卷积神经网络进行动脉模型中的血流动力学参数估计。
translated by 谷歌翻译
在医学图像分析中,皮质区域的自动分割一直是长期以来的挑战。皮质的复杂几何形状通常表示为多边形网格,其分割可以通过基于图的学​​习方法来解决。当对受试者之间的皮质网格对齐时,当前方法会产生明显较差的分割结果,从而限制了它们处理多域数据的能力。在本文中,我们研究了E(n) - 等级图神经网络(EGNN)的实用性,将其性能与普通图神经网络(GNNS)进行了比较。我们的评估表明,由于GNN的能力利用全球坐标系的存在,GNNS在对齐网格上的表现要优于对齐网格。在未对准的网格上,普通GNN的性能大大下降,而e(n) - 等级消息传递通过相同的分割结果。也可以通过在重新调整数据(全球坐标系中的共注册网格)上使用普通GNN来获得最佳结果。
translated by 谷歌翻译
Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.
translated by 谷歌翻译
由于其在翻译下的增强/不变性,卷积网络成功。然而,在坐标系的旋转取向不会影响数据的含义(例如对象分类)的情况下,诸如图像,卷,形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面,在旋转很重要的情况下是必要的估计/处理旋转(例如运动估计)。最近在所有这些方面的方法和理论方面取得了进展。在这里,我们提供了2D和3D旋转(以及翻译)的现有方法的概述,以及识别它们之间的共性和链接。
translated by 谷歌翻译
我们开发了一种新类型的模型,以解决通过构建$ \ mathrm {so}^{+}(2,1)$ ecurivariant神经网络来解决多模式光纤的传输效果的任务。该模型利用了已知存在于纤维斑点模式中已知的方位角相关性,并且自然说明了输入和斑点模式之间的空间布置差异。此外,我们使用第二个后处理网络去除圆形伪像,填充间隙并锐化图像,这是由于光纤传输的性质所需的。这种两阶段的方法允许检查由更健壮的身体动机模型产生的预测图像,该模型可能在安全关键的应用程序中或两种模型的输出,从而产生高质量的图像。此外,该模型可以扩展到以前无法实现的成像分辨率,并在256美元\ times 256 $像素图像上显示出来。这是将可训练的参数需求从$ \ MATHCAL {O}(n^4)$提高到$ \ Mathcal {o}(M)$的结果,其中$ n $是像素大小,$ m $是光纤数模式。最后,该模型将在培训数据类别之外的新图像中概括,比以前的模型更好。
translated by 谷歌翻译
包括协调性信息,例如位置,力,速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e(3)的等值图形神经网络(Segnns),使得节点和边缘属性不限于不变的标量,而是可以包含相协同信息,例如矢量或张量。该模型由可操纵的MLP组成,能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义,MLP提供了一种新的Activation函数,以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作,进一步允许我们引脚点点的成功组件:非线性消息聚集在经典线性(可操纵)点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性,并提供了广泛的消融研究。
translated by 谷歌翻译
本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以(3)-equivariance属性的特征空间中的嵌入,通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先,由于网络架构中类似于PointNet的网络体系结构中的置换不变性,因此删除了数据关联的必要性。其次,由于SO(3)的性能,可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三,由于注册和隐含形状重建的联合培训,注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。
translated by 谷歌翻译
We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.
translated by 谷歌翻译
几乎所有的艺术视觉模型都对图像旋转敏感。现有方法通常通过使用增强的培训数据来学习伪延迟,以弥补缺失的归纳偏见。除了资源要求数据通胀过程之外,预测通常概括。卷积神经网络固有的感应偏置允许通过作用于像素网格的水平和垂直轴的内核进行翻译等效。但是,这种感应性偏差不允许旋转模棱两可。我们提出了一种径向光束采样策略,以及在这些梁上运行的径向内核,以固有地融合了中心反转协方差。加上角度距离损耗,我们提出了一个基于径向光束的图像典型化模型,即短BIC。我们的模型允许最大的连续角度回归,并规范化了任意中心旋转的输入图像。作为一个预处理模型,这可以通过模型不合式旋转敏感的下游预测来实现旋转不变的视觉管道。我们表明,我们的端到端训练的角度回归器能够预测几个视觉数据集的连续旋转角度,即FashionMnist,CIFAR10,COIL100和LFW。
translated by 谷歌翻译