在许多实际应用（例如运动预测和3D感知）中，旋转模棱两可是理想的属性，它可以提供样本效率，更好的概括和对输入扰动的鲁棒性等好处。向量神经元（VN）是一个最近开发的框架，它通过将一维标量神经元扩展到三维“向量神经元”，提供一种简单而有效的方法来推导标准机器学习操作的旋转量表类似物。我们介绍了一种新颖的“ VN转换器”体系结构，以解决当前VN模型的几个缺点。我们的贡献是：$（i）$，我们得出了一种旋转等级的注意机制，这消除了原始矢量神经元模型所需的重型功能预处理的需求； $（ii）$我们扩展了VN框架以支持非空间属性，将这些模型的适用性扩展到现实世界数据集； $（iii）$，我们得出了一种旋转等级机制，用于多尺度减少点云的分辨率，从而大大加快了推理和训练； $（iv）$我们表明，可以使用小额折衷（$ \ epsilon $ - approximate povrivariance）来获得对加速硬件的数值稳定性和培训鲁棒性的巨大改进，并且我们绑定了我们模型中对等效性侵犯的繁殖。最后，我们将VN转换器应用于3D形状分类和运动预测，并具有令人信服的结果。

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

在本文中，我们涉及在2D点云数据上的旋转设备。我们描述了一种特定的功能，能够近似任何连续旋转等级和置换不变函数。基于这一结果，我们提出了一种新的神经网络架构，用于处理2D点云，我们证明其普遍性地用于近似呈现这些对称的功能。我们还展示了如何扩展架构以接受一组2D-2D对应关系作为Indata，同时保持类似的标准性属性。关于立体视觉中必需基质的估计的实验。

包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。

从低级视觉理论中出现，可说的过滤器在先前的卷积神经网络上的工作中发现了对应物，等同于僵化的转换。在我们的工作中，我们提出了一种基于球形决策表面的神经元组成的基于馈送的可转向学习方法，并在点云上运行。这种球形神经元是通过欧几里得空间的共形嵌入来获得的，最近在点集的学习表示中被重新审视。为了关注3D几何形状，我们利用球形神经元的等轴测特性，并得出3D可识别性约束。在训练球形神经元以在规范方向上分类点云之后，我们使用四面体基础来使神经元四倍，并构建旋转 - 等级的球形滤波器库。然后，我们应用派生的约束来插值过滤器库输出，从而获得旋转不变的网络。最后，我们使用合成点集和现实世界3D骨架数据来验证我们的理论发现。该代码可在https://github.com/pavlo-melnyk/steerable-3d-neurons上找到。

本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以（3）-equivariance属性的特征空间中的嵌入，通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先，由于网络架构中类似于PointNet的网络体系结构中的置换不变性，因此删除了数据关联的必要性。其次，由于SO（3）的性能，可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三，由于注册和隐含形状重建的联合培训，注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。

在3D点云上的应用程序越来越需要效率和鲁棒性，在自动驾驶和机器人技术等场景中无处不在使用边缘设备，这通常需要实时和可靠的响应。该论文通过设计一个通用框架来应对挑战，以构建具有（3）均衡和网络二元化的3D学习体系结构。然而，模棱两可的网络和二元化的幼稚组合会导致优化的计算效率或几何歧义。我们建议在网络中同时找到标量和向量特征，以避免这两种情况。确切地说，标量特征的存在使网络的主要部分是可动的，而矢量特征则可以保留丰富的结构信息并确保SO（3）均衡。提出的方法可以应用于PointNet和DGCNN等一般骨干。同时，对ModelNet40，Shapenet和现实世界数据集ScanObjectnn进行的实验表明，该方法在效率，旋转稳健性和准确性之间取决于巨大的权衡。这些代码可在https://github.com/zhuoinoulu/svnet上找到。

Steerable convolutional neural networks (CNNs) provide a general framework for building neural networks equivariant to translations and other transformations belonging to an origin-preserving group $G$, such as reflections and rotations. They rely on standard convolutions with $G$-steerable kernels obtained by analytically solving the group-specific equivariance constraint imposed onto the kernel space. As the solution is tailored to a particular group $G$, the implementation of a kernel basis does not generalize to other symmetry transformations, which complicates the development of group equivariant models. We propose using implicit neural representation via multi-layer perceptrons (MLPs) to parameterize $G$-steerable kernels. The resulting framework offers a simple and flexible way to implement Steerable CNNs and generalizes to any group $G$ for which a $G$-equivariant MLP can be built. We apply our method to point cloud (ModelNet-40) and molecular data (QM9) and demonstrate a significant improvement in performance compared to standard Steerable CNNs.

线性神经网络层的模棱两可。在这项工作中，我们放宽了肩variance条件，只有在投影范围内才是真实的。特别是，我们研究了投射性和普通的肩那样的关系，并表明对于重要的例子，这些问题实际上是等效的。3D中的旋转组在投影平面上投影起作用。在设计用于过滤2D-2D对应的网络时，我们在实验上研究了旋转肩位的实际重要性。完全模型的模型表现不佳，虽然简单地增加了不变的特征，从而在强大的基线产量中得到了改善，但这似乎并不是由于改善的均衡性。

将对称性作为归纳偏置纳入神经网络体系结构已导致动态建模的概括，数据效率和身体一致性的提高。诸如CNN或e夫神经网络之类的方法使用重量绑定来强制执行对称性，例如偏移不变性或旋转率。但是，尽管物理定律遵守了许多对称性，但实际动力学数据很少符合严格的数学对称性，这是由于嘈杂或不完整的数据或基础动力学系统中的对称性破坏特征。我们探索近似模棱两可的网络，这些网络偏向于保存对称性，但并非严格限制这样做。通过放松的均衡约束，我们发现我们的模型可以胜过两个基线，而在模拟的湍流域和现实世界中的多流射流流中都没有对称性偏差和基线，并且具有过度严格的对称性。

由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。

Recent work has constructed neural networks that are equivariant to continuous symmetry groups such as 2D and 3D rotations. This is accomplished using explicit Lie group representations to derive the equivariant kernels and nonlinearities. We present three contributions motivated by frontier applications of equivariance beyond rotations and translations. First, we relax the requirement for explicit Lie group representations with a novel algorithm that finds representations of arbitrary Lie groups given only the structure constants of the associated Lie algebra. Second, we provide a self-contained method and software for building Lie group-equivariant neural networks using these representations. Third, we contribute a novel benchmark dataset for classifying objects from relativistic point clouds, and apply our methods to construct the first object-tracking model equivariant to the Poincar\'e group.

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

大多数设置深度学习的预测模型，使用Set-Scifariant操作，但它们实际上在MultiSet上运行。我们表明设置的函数不能代表多种功能上的某些功能，因此我们介绍了更适当的多种式概念概念。我们确定现有的深度设置预测网络（DSPN）可以是多机构的，而不会被设定的标准规模阻碍，并通过近似隐式差分改进它，允许更好地优化，同时更快和节省存储器。在一系列玩具实验中，我们表明，多机构的角度是有益的，在大多数情况下，我们对DSPN的变化达到了更好的结果。关于CLEVR对象性质预测，由于通过隐含分化所取得的益处，我们在最先进的评估指标中从8％到77％的最先进的槽注意力从8％提高到77％。

A wide range of techniques have been proposed in recent years for designing neural networks for 3D data that are equivariant under rotation and translation of the input. Most approaches for equivariance under the Euclidean group $\mathrm{SE}(3)$ of rotations and translations fall within one of the two major categories. The first category consists of methods that use $\mathrm{SE}(3)$-convolution which generalizes classical $\mathbb{R}^3$-convolution on signals over $\mathrm{SE}(3)$. Alternatively, it is possible to use \textit{steerable convolution} which achieves $\mathrm{SE}(3)$-equivariance by imposing constraints on $\mathbb{R}^3$-convolution of tensor fields. It is known by specialists in the field that the two approaches are equivalent, with steerable convolution being the Fourier transform of $\mathrm{SE}(3)$ convolution. Unfortunately, these results are not widely known and moreover the exact relations between deep learning architectures built upon these two approaches have not been precisely described in the literature on equivariant deep learning. In this work we provide an in-depth analysis of both methods and their equivalence and relate the two constructions to multiview convolutional networks. Furthermore, we provide theoretical justifications of separability of $\mathrm{SE}(3)$ group convolution, which explain the applicability and success of some recent approaches. Finally, we express different methods using a single coherent formalism and provide explicit formulas that relate the kernels learned by different methods. In this way, our work helps to unify different previously-proposed techniques for achieving roto-translational equivariance, and helps to shed light on both the utility and precise differences between various alternatives. We also derive new TFN non-linearities from our equivalence principle and test them on practical benchmark datasets.

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

群体模棱两可（例如，SE（3）均衡性）是科学的关键物理对称性，从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此，已经为将这种对称性编码为深神经网络而做出了巨大的努力，该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此，如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中，我们提出了一个框架来构建可以有效地近似几何量的se（3）等效图神经网络。受差异几何形状和物理学的启发，我们向图形神经网络介绍了局部完整帧，因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础，以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的，因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法：牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明，我们的模型在两种类型的数据集中达到了最佳或竞争性能。

许多应用程序需要神经网络的鲁棒性或理想的不变性，以使输入数据的某些转换。最常见的是，通过使用对抗性培训或定义包括设计所需不变性的网络体系结构来解决此要求。在这项工作中，我们提出了一种方法，使网络体系结构通过基于固定标准从（可能连续的）轨道中选择一个元素，从而使网络体系结构相对于小组操作证明是不变的。简而言之，我们打算在将数据馈送到实际网络之前“撤消”任何可能的转换。此外，我们凭经验分析了通过训练或体系结构结合不变性的不同方法的特性，并在鲁棒性和计算效率方面证明了我们方法的优势。特别是，我们研究了图像旋转（可以持续到离散化工件）以及3D点云分类的可证明的方向和缩放不变性方面的鲁棒性。

点云分析没有姿势前导者在真实应用中非常具有挑战性，因为点云的方向往往是未知的。在本文中，我们提出了一个全新的点集学习框架prin，即点亮旋转不变网络，专注于点云分析中的旋转不变特征提取。我们通过密度意识的自适应采样构建球形信号，以处理球形空间中的扭曲点分布。提出了球形Voxel卷积和点重新采样以提取每个点的旋转不变特征。此外，我们将Prin扩展到称为Sprin的稀疏版本，直接在稀疏点云上运行。 Prin和Sprin都可以应用于从对象分类，部分分割到3D特征匹配和标签对齐的任务。结果表明，在随机旋转点云的数据集上，Sprin比无任何数据增强的最先进方法表现出更好的性能。我们还为我们的方法提供了彻底的理论证明和分析，以实现我们的方法实现的点明智的旋转不变性。我们的代码可在https://github.com/qq456cvb/sprin上找到。

3D相关的电感偏见，例如翻译不变性和旋转率偏差，对于在3D原子图（例如分子）上运行的图形神经网络是必不可少的。受到变压器在各个领域的成功的启发，我们研究了如何将这些电感偏置纳入变压器。在本文中，我们提出了Equibrouner，这是一个图形神经网络，利用了变压器体系结构的强度，并结合了基于不可减至表示（IRREPS）的$ SE（3）/e（3）$ - 均值功能。 IRREPS在通道尺寸中的编码均值信息而不使图形结构复杂化。简单性使我们能够通过用eproimiant对应物替换原始操作来直接合并它们。此外，为了更好地适应3D图，我们提出了一种新颖的模棱两可的图形注意力，该图都考虑了内容和几何信息，例如IRRERPS特征中包含的相对位置。为了提高注意力的表现力，我们用多层感知器的注意力取代了点产品的注意力，并包括非线性消息传递。我们在两个量子性能预测数据集（QM9和OC20）上进行基准测试。对于QM9，在接受相同数据分区训练的模型中，Equibourer在12个回归任务中的11个中取得了最佳结果。对于OC20，在使用IS2RE数据和IS2RS数据的培训设置下，Equibourer对最先进的模型进行了改进。复制所有主要结果的代码将很快获得。