与特殊线性组和嵌入谎言代数结构具有基本关系。尽管谎言代数表示优雅，但很少有研究人员在同构估计与代数表达之间建立了联系。在本文中，我们提出了扭曲的卷积网络（WCN），以有效地估计SL（3）组和SL（3）代数的分组转换。为此，SL（3）组中的六个换向子组组成以形成一个跨摄影转换。对于每个子组，提出了一个翘曲函数，以将Lie代数结构桥接到其在断层扫描中的相应参数上。通过利用扭曲的卷积，同构估计得出了几个简单的伪翻译回归。通过沿着谎言拓扑行走，我们提出的WCN能够学习对构造转换不变的功能。它可以很容易地插入其他基于CNN的方法中。对POT基准和MNIST-PROJ数据集进行了广泛的实验表明，我们提出的方法对同型估计和分类都有效。

Planar对象跟踪在AI应用中起重要作用，例如机器人，视觉伺服和视觉SLAM。虽然前面的平面跟踪器在大多数情况下工作都很好，但由于两个连续帧之间的运动快，转换大，仍然是一个具有挑战性的任务。当同位参数空间的搜索范围变大时，这种问题背后面的基本原因是这种非线性系统的条件数不稳定地改变。为此，我们提出了一种新颖的单独分解网络〜（HDN）方法，通过将同性转换分解为两组，通过分解单独转换来稳定地减小和稳定条件号。具体地，设计相似性转换估计器被深度卷积设备网络预先预测第一组。通过利用高置信度的尺度和旋转估计，通过简单的回归模型估计残余转换。此外，所提出的端到端网络以半监督方式培训。广泛的实验表明，我们所提出的方法在挑战池，UCSB和诗歌数据集的大幅度上表现出最先进的平面跟踪方法。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

卷积神经网络（CNNS）非常有效，因为它们利用自然图像的固有转换不变性。但是，翻译只是无数的有用空间转换之一。在考虑其他空间的侵犯侵犯性时可以获得相同的效率吗？过去已经考虑过这种广义综合，但以高计算成本为例。我们展示了一个简单和精确的建筑，但标准卷积具有相同的计算复杂性。它由一个恒定的图像扭曲，后跟一个简单的卷积，这是深度学习工具箱中的标准块。通过精心制作的经线，所产生的架构可以使成功的架构成为各种各样的双参数空间转换。我们展示了令人鼓舞的现实情景结果，包括谷歌地球数据集（旋转和缩放）中车辆姿势的估计，并且面部在野外注释的面部地标中的面部姿势（在透视下的3D旋转）。

卷积神经网络（CNN）在翻译下是固有的等分反，但是，它们没有等效的嵌入机制来处理其他变换，例如旋转和规模变化。存在几种方法，使CNN通过设计在其他转换组下变得等效。其中，可操纵的CNN特别有效。然而，这些方法需要将滤波器重新设计标准网络，筛选涉及复杂的分析功能的预定义基的组合。我们通过实验证明，在选择的基础上的这些限制可能导致模型权重，这对主要深度学习任务进行了次优（例如，分类）。此外，这种硬烘焙的显式配方使得难以设计包括异质特征组的复合网络。为了规避此类问题，我们提出了隐含的等级网络（IEN），其通过优化与标准损耗术语相结合的多目标损耗函数来诱导标准CNN模型的不同层的等级。通过在ROT-MNIST上的VGG和RESNET模型的实验，ROT-TINIMAGENET，SCALE-MNIST和STL-10数据集上，我们表明IEN，即使是简单的配方，也要优于可操纵网络。此外，IEN促进了非均相过滤器组的构建，允许CNNS中的通道数量减少超过30％，同时保持与基线的表现。 IEN的功效进一步验证了视觉对象跟踪的难题。我们表明IEN优于最先进的旋转等级跟踪方法，同时提供更快的推理速度。

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。

在这项工作中，我们调查如何实现方面，以纯粹来自数据的平台输入变换，而不会被赋予那些转换的模型。例如，卷积神经网络（CNNS）是对图像转换的等意识别，可以容易地建模的变换（通过垂直或水平地移动像素）。其他转换，例如外平面旋转，不承认一个简单的分析模型。我们提出了一种自动编码器架构，其嵌入了obeeys同时嵌入了一组任意的标准关系，例如翻译，旋转，颜色变化以及许多其他。这意味着它可以拍摄输入图像，并产生由之前未观察到的给定金额的版本（例如，相同对象的不同观点或颜色变化）。尽管延伸到许多（甚至是非几何）转换，但我们的模型在翻译标准规范的特殊情况下完全缩短了CNN。协调对深度网络的可解释性和稳健性是重要的，并且我们证明了在几个合成和实际数据集上成功重新渲染的输入图像的转换版本的结果，以及对象姿态估计的结果。

将组对称性直接纳入学习过程，已被证明是模型设计的有效准则。通过生产保证对输入上的组动作改造协议的功能，Group-Secrivariant卷积神经网络（G-CNN）在具有内在对称的学习任务中实现了显着改善的泛化性能。已经研究了G-CNNS的一般理论和实际实施，用于旋转或缩放变换下的平面图像，但仅是单独的。在本文中，我们存在roto-scale-pranslance的CNN（RST-CNN），保证通过耦合组卷积来实现这三个组的增义性。此外，随着现实中的对称变换很少是非常完美的并且通常会受到输入变形的影响，我们提供了对输入失真的表示的等意识的稳定性分析，这激励了（预固定）低频空间下的卷积滤波器的截断扩展模式。所得到的模型可被证明可以实现变形 - 稳健的RST标准，即RST对称性仍然“大约”保存，当通过滋扰数据变形时“被污染”，这是对分布外概述尤为重要的属性。 Mnist，Fashion-Mnist和STL-10的数值实验表明，所提出的模型在现有技术中产生显着的增益，尤其是在数据内旋转和缩放变化的小数据制度中。

Convolutional Neural Networks define an exceptionally powerful class of models, but are still limited by the lack of ability to be spatially invariant to the input data in a computationally and parameter efficient manner. In this work we introduce a new learnable module, the Spatial Transformer, which explicitly allows the spatial manipulation of data within the network. This differentiable module can be inserted into existing convolutional architectures, giving neural networks the ability to actively spatially transform feature maps, conditional on the feature map itself, without any extra training supervision or modification to the optimisation process. We show that the use of spatial transformers results in models which learn invariance to translation, scale, rotation and more generic warping, resulting in state-of-the-art performance on several benchmarks, and for a number of classes of transformations.

The principle of equivariance to symmetry transformations enables a theoretically grounded approach to neural network architecture design. Equivariant networks have shown excellent performance and data efficiency on vision and medical imaging problems that exhibit symmetries. Here we show how this principle can be extended beyond global symmetries to local gauge transformations. This enables the development of a very general class of convolutional neural networks on manifolds that depend only on the intrinsic geometry, and which includes many popular methods from equivariant and geometric deep learning.We implement gauge equivariant CNNs for signals defined on the surface of the icosahedron, which provides a reasonable approximation of the sphere. By choosing to work with this very regular manifold, we are able to implement the gauge equivariant convolution using a single conv2d call, making it a highly scalable and practical alternative to Spherical CNNs. Using this method, we demonstrate substantial improvements over previous methods on the task of segmenting omnidirectional images and global climate patterns.

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

虽然可怕的转化扰动稳健，但是已知卷积神经网络（CNNS）在用更普通的输入的测试时间呈现时呈现极端性能劣化。最近，这种限制具有从CNNS到胶囊网络（Capsnets）的焦点转变。但是，Capsnets遭受了相对较少的理论保障的不变性。我们介绍了一个严格的数学框架，以允许不在任何谎言群体群体，专门使用卷曲（通过谎言群体），而无需胶囊。以前关于集团举报的职责受到本集团的强烈假设的阻碍，这阻止了这些技术在计算机视觉中的共同扭曲中的应用，如仿佛和同类。我们的框架可以实现over \ emph {任何}有限维谎组的组卷积。我们在基准仿射不变分类任务中凭经验验证了我们的方法，在那里我们在越野上达到了常规CNN的准确性，同时优于最先进的帽子，我们在达到$ \ SIMP 30 \％的提高。作为我们框架的普遍性的进一步说明，我们训练了一个众所周知的模型，实现了在众所周知的数据集上的卓越稳健性，其中帽子结果降低。

基于2D图像的3D对象的推理由于从不同方向查看对象引起的外观差异很大，因此具有挑战性。理想情况下，我们的模型将是对物体姿势变化的不变或等效的。不幸的是，对于2D图像输入，这通常是不可能的，因为我们没有一个先验模型，即在平面外对象旋转下如何改变图像。唯一的$ \ mathrm {so}（3）$ - 当前存在的模型需要点云输入而不是2D图像。在本文中，我们提出了一种基于Icosahedral群卷积的新型模型体系结构，即通过将输入图像投影到iCosahedron上，以$ \ mathrm {so（3）} $中的理由。由于此投影，该模型大致与$ \ mathrm {so}（3）$中的旋转大致相当。我们将此模型应用于对象构成估计任务，并发现它的表现优于合理的基准。

Translating or rotating an input image should not affect the results of many computer vision tasks. Convolutional neural networks (CNNs) are already translation equivariant: input image translations produce proportionate feature map translations. This is not the case for rotations. Global rotation equivariance is typically sought through data augmentation, but patch-wise equivariance is more difficult. We present Harmonic Networks or H-Nets, a CNN exhibiting equivariance to patch-wise translation and 360-rotation. We achieve this by replacing regular CNN filters with circular harmonics, returning a maximal response and orientation for every receptive field patch.H-Nets use a rich, parameter-efficient and fixed computational complexity representation, and we show that deep feature maps within the network encode complicated rotational invariants. We demonstrate that our layers are general enough to be used in conjunction with the latest architectures and techniques, such as deep supervision and batch normalization. We also achieve state-of-the-art classification on rotated-MNIST, and competitive results on other benchmark challenges.

With the substantial performance of neural networks in sensitive fields increases the need for interpretable deep learning models. Major challenge is to uncover the multiscale and distributed representation hidden inside the basket mappings of the deep neural networks. Researchers have been trying to comprehend it through visual analysis of features, mathematical structures, or other data-driven approaches. Here, we work on implementation invariances of CNN-based representations and present an analytical binary prototype that provides useful insights for large scale real-life applications. We begin by unfolding conventional CNN and then repack it with a more transparent representation. Inspired by the attainment of neural networks, we choose to present our findings as a three-layer model. First is a representation layer that encompasses both the class information (group invariant) and symmetric transformations (group equivariant) of input images. Through these transformations, we decrease intra-class distance and increase the inter-class distance. It is then passed through a dimension reduction layer followed by a classifier. The proposed representation is compared with the equivariance of AlexNet (CNN) internal representation for better dissemination of simulation results. We foresee following immediate advantages of this toy version: i) contributes pre-processing of data to increase the feature or class separability in large scale problems, ii) helps designing neural architecture to improve the classification performance in multi-class problems, and iii) helps building interpretable CNN through scalable functional blocks.

Recent work has constructed neural networks that are equivariant to continuous symmetry groups such as 2D and 3D rotations. This is accomplished using explicit Lie group representations to derive the equivariant kernels and nonlinearities. We present three contributions motivated by frontier applications of equivariance beyond rotations and translations. First, we relax the requirement for explicit Lie group representations with a novel algorithm that finds representations of arbitrary Lie groups given only the structure constants of the associated Lie algebra. Second, we provide a self-contained method and software for building Lie group-equivariant neural networks using these representations. Third, we contribute a novel benchmark dataset for classifying objects from relativistic point clouds, and apply our methods to construct the first object-tracking model equivariant to the Poincar\'e group.

现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题

由于其在翻译下的增强/不变性，卷积网络成功。然而，在坐标系的旋转取向不会影响数据的含义（例如对象分类）的情况下，诸如图像，卷，形状或点云的可旋转数据需要在旋转下的增强/不变性处理。另一方面，在旋转很重要的情况下是必要的估计/处理旋转（例如运动估计）。最近在所有这些方面的方法和理论方面取得了进展。在这里，我们提供了2D和3D旋转（以及翻译）的现有方法的概述，以及识别它们之间的共性和链接。

本文提出了一种新的点云卷积结构，该结构学习了SE（3） - 等级功能。与现有的SE（3） - 等级网络相比，我们的设计轻巧，简单且灵活，可以合并到一般的点云学习网络中。我们通过为特征地图选择一个非常规域，在模型的复杂性和容量之间取得平衡。我们通过正确离散$ \ mathbb {r}^3 $来完全利用旋转对称性来进一步减少计算负载。此外，我们采用置换层从其商空间中恢复完整的SE（3）组。实验表明，我们的方法在各种任务中实现了可比或卓越的性能，同时消耗的内存和运行速度要比现有工作更快。所提出的方法可以在基于点云的各种实用应用中促进模棱两可的特征学习，并激发现实世界应用的Equivariant特征学习的未来发展。

基于无人机（UAV）基于无人机的视觉对象跟踪已实现了广泛的应用，并且由于其多功能性和有效性而引起了智能运输系统领域的越来越多的关注。作为深度学习革命性趋势的新兴力量，暹罗网络在基于无人机的对象跟踪中闪耀，其准确性，稳健性和速度有希望的平衡。由于开发了嵌入式处理器和深度神经网络的逐步优化，暹罗跟踪器获得了广泛的研究并实现了与无人机的初步组合。但是，由于无人机在板载计算资源和复杂的现实情况下，暹罗网络的空中跟踪仍然在许多方面都面临严重的障碍。为了进一步探索基于无人机的跟踪中暹罗网络的部署，这项工作对前沿暹罗跟踪器进行了全面的审查，以及使用典型的无人机板载处理器进行评估的详尽无人用分析。然后，进行板载测试以验证代表性暹罗跟踪器在现实世界无人机部署中的可行性和功效。此外，为了更好地促进跟踪社区的发展，这项工作分析了现有的暹罗跟踪器的局限性，并进行了以低弹片评估表示的其他实验。最后，深入讨论了基于无人机的智能运输系统的暹罗跟踪的前景。领先的暹罗跟踪器的统一框架，即代码库及其实验评估的结果，请访问https://github.com/vision4robotics/siamesetracking4uav。