我们在各种诱导的稀疏性约束下，以相关神经体系结构在以对象为中心（基于插槽）表示的情况下，通过关系神经体系结构学到的软符号的合成性。我们发现，增加的稀疏性，尤其是在功能上，可以提高某些模型的性能，并导致更简单的关系。此外，我们观察到，当并非所有对象都完全捕获时，以对象为中心的表示可能会有害。CNN不太容易发生的故障模式。这些发现证明了解释性和绩效之间的权衡，即使对于旨在解决关系任务的模型也是如此。

Learning object-centric representations of complex scenes is a promising step towards enabling efficient abstract reasoning from low-level perceptual features. Yet, most deep learning approaches learn distributed representations that do not capture the compositional properties of natural scenes. In this paper, we present the Slot Attention module, an architectural component that interfaces with perceptual representations such as the output of a convolutional neural network and produces a set of task-dependent abstract representations which we call slots. These slots are exchangeable and can bind to any object in the input by specializing through a competitive procedure over multiple rounds of attention. We empirically demonstrate that Slot Attention can extract object-centric representations that enable generalization to unseen compositions when trained on unsupervised object discovery and supervised property prediction tasks.

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

了解哪些归纳偏见可能有助于无监督的自然场景中以对象为中心的表示是具有挑战性的。在本文中，我们系统地研究了两个模型在数据集上的性能，其中使用神经样式转移来获取具有复杂纹理的对象，同时仍保留地面真相注释。我们发现，通过使用单个模块重建每个对象的形状和视觉外观，该模型可以学习更多有用的表示形式，并实现更好的对象分离。此外，我们观察到，调整潜在空间尺寸不足以提高分割性能。最后，与分割质量相比，代表性的下游有用性与分割质量的相关性明显更大。

Human perception is structured around objects which form the basis for our higher-level cognition and impressive systematic generalization abilities. Yet most work on representation learning focuses on feature learning without even considering multiple objects, or treats segmentation as an (often supervised) preprocessing step. Instead, we argue for the importance of learning to segment and represent objects jointly. We demonstrate that, starting from the simple assumption that a scene is composed of multiple entities, it is possible to learn to segment images into interpretable objects with disentangled representations. Our method learns -without supervision -to inpaint occluded parts, and extrapolates to scenes with more objects and to unseen objects with novel feature combinations. We also show that, due to the use of iterative variational inference, our system is able to learn multi-modal posteriors for ambiguous inputs and extends naturally to sequences.

视觉世界可以以稀疏相互作用的不同实体来嘲笑。在动态视觉场景中发现这种组合结构已被证明对端到端的计算机视觉方法有挑战，除非提供明确的实例级别的监督。利用运动提示的基于老虎机的模型最近在学习代表，细分和跟踪对象的情况下没有直接监督显示了巨大的希望，但是它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何形状的信息可以促进以对象为中心的学习。我们介绍了一种以对象为中心的视频模型SAVI ++，该模型经过训练，可以预测基于插槽的视频表示的深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVI ++以细分使用移动摄像机记录的复杂动态场景，其中包含在自然主义背景上具有不同外观的静态和移动对象，而无需进行分割监督。最后，我们证明，通过使用从LIDAR获得的稀疏深度信号，Savi ++能够从真实World Waymo Open DataSet中的视频中学习新兴对象细分和跟踪。

当前的深度学习方法显示出良好的分布概括性能，但在分布外的概括方面挣扎。正如我们在许多智能测试中所发现的那样，在涉及抽象关系（例如识别序列中的规则）的任务中尤其如此。最近的工作探索了如何强迫关系表示与感觉表示的区别，这在大脑中似乎是这种情况，可以帮助人工系统。在这项工作的基础上，我们进一步探索并正式化了关系和感官细节的“分区”表示所提供的优势，以及这种归纳偏见如何帮助在新遇到的环境中重新组建学习的关系结构。我们介绍了一个基于相似性分数的简单体系结构，我们将其命名为组成关系网络（Corelnet）。使用此模型，我们研究了一系列的归纳偏见，以确保从感觉数据中学习并明显地了解抽象关系，并探索它们对一系列关系心理物理学任务的分布概括的影响。我们发现，简单的体系结构选择可以超越现有的模型，而在分布式概括中。总之，这些结果表明，从其他信息流中分配关系表示形式可能是一种简单的方法，可以在执行分布外的关系计算时增强现有网络体系结构的鲁棒性。

从物体及其在3D空间中的几何形状方面对世界的组成理解被认为是人类认知的基石。促进神经网络中这种表示形式的学习有望实质上提高标记的数据效率。作为朝着这个方向发展的关键步骤，我们在学习3D一致的复杂场景分解的问题上取得了进展，以无监督的方式将复杂场景分解为单个对象。我们介绍对象场景表示变压器（OSRT），这是一个以3D为中心的模型，其中各个对象表示通过新颖的视图合成自然出现。 OSRT比现有方法更为复杂，具有更大的对象和背景的复杂场景。同时，由于其光场参数化和新型的插槽混合器解码器，它在组成渲染时的多个数量级更快。我们认为，这项工作不仅将加速未来的建筑探索和扩展工作，而且还将成为以对象为中心和神经场景表示社区的有用工具。

为了帮助代理在其构建块方面的场景的原因，我们希望提取任何给定场景的组成结构（特别是包括场景的对象的配置和特征）。当需要推断出现在代理的位置/观点的同时需要推断场景结构时，这个问题特别困难，因为两个变量共同引起代理人的观察。我们提出了一个无监督的变分方法来解决这个问题。利用不同场景存在的共享结构，我们的模型学会从RGB视频输入推断出两组潜在表示：一组“对象”潜伏，对应于场景的时间不变，对象级内容，如以及一组“帧”潜伏，对应于全局时变元素，例如视点。这种潜水所的分解允许我们的模型Simone，以单独的方式表示对象属性，其不依赖于视点。此外，它允许我们解解对象动态，并将其轨迹总结为时间抽象的，查看 - 不变，每个对象属性。我们在三个程序生成的视频数据集中展示了这些功能，以及在查看合成和实例分段方面的模型的性能。

Relational reasoning is a central component of generally intelligent behavior, but has proven difficult for neural networks to learn. In this paper we describe how to use Relation Networks (RNs) as a simple plug-and-play module to solve problems that fundamentally hinge on relational reasoning. We tested RN-augmented networks on three tasks: visual question answering using a challenging dataset called CLEVR, on which we achieve state-of-the-art, super-human performance; text-based question answering using the bAbI suite of tasks; and complex reasoning about dynamic physical systems. Then, using a curated dataset called Sort-of-CLEVR we show that powerful convolutional networks do not have a general capacity to solve relational questions, but can gain this capacity when augmented with RNs. Our work shows how a deep learning architecture equipped with an RN module can implicitly discover and learn to reason about entities and their relations.

没有强烈监督的原始图像学习视觉概念是一个具有挑战性的任务。在这项工作中，我们展示了理解和修改神经概念学习者的潜在空间的原型表示的优势。为此目的，我们介绍交互式概念交换网络（ICSNS），这是一种通过弱监督和隐式原型表示学习概念接地表示的新框架。ICSNS学习通过交换配对图像的潜在表示来将概念信息与特定的原型插槽绑定。这种语义接地和离散的潜在空间有助于人类的理解和人机相互作用。我们通过对我们的小说数据集“基本概念推理”（ECR）进行实验来支持这一主张，重点关注几何对象共享的视觉概念。

解决视觉推理测试的计算学习方法，例如Raven的渐进式矩阵（RPM），非常取决于识别测试中使用的视觉概念（即表示）以及基于这些概念（即，推理）。然而，学习表示和推理是一项具有挑战性且不足的任务，经常以舞台的方式（首先表示，然后推理）接近。在这项工作中，我们提出了一个端到端的联合代表性学习框架，该框架利用了弱的归纳偏见形式来共同改善这两项任务。具体而言，我们引入了RPMS，GM-RPM的一般生成图形模型，并将其应用于解决推理测试。我们使用基于GM-RPM原理的基于基于的抽象推理网络（DAREN）的新型学习框架来完成此操作。我们对Daren进行了多个基准数据集的经验评估。 Daren在推理和分离任务上都表现出对最先进的模型（SOTA）模型的一致改进。这证明了分离的潜在表示与解决抽象视觉推理任务的能力之间的密切相关性。

Current supervised visual detectors, though impressive within their training distribution, often fail to segment out-of-distribution scenes into their constituent entities. Recent test-time adaptation methods use auxiliary self-supervised losses to adapt the network parameters to each test example independently and have shown promising results towards generalization outside the training distribution for the task of image classification. In our work, we find evidence that these losses can be insufficient for instance segmentation tasks, without also considering architectural inductive biases. For image segmentation, recent slot-centric generative models break such dependence on supervision by attempting to segment scenes into entities in a self-supervised manner by reconstructing pixels. Drawing upon these two lines of work, we propose Slot-TTA, a semi-supervised instance segmentation model equipped with a slot-centric inductive bias, that is adapted per scene at test time through gradient descent on reconstruction or novel view synthesis objectives. We show that test-time adaptation in Slot-TTA greatly improves instance segmentation in out-of-distribution scenes. We evaluate Slot-TTA in several 3D and 2D scene instance segmentation benchmarks and show substantial out-of-distribution performance improvements against state-of-the-art supervised feed-forward detectors and self-supervised test-time adaptation methods.

字符不传达意义，但字符序列会。我们提出了一种无监督的分布方法，以便在一系列字符中学习抽象意义的单元。该模型而不是分割序列，而不是分割序列中的“对象”的连续表示，使用最近提出的架构在称为插槽注意中的图像中的对象发现。我们在不同语言中培训我们的模型，并用探测分类评估所获得的表示的质量。我们的实验表明，我们的单位在更高的抽象层面捕捉意义的能力。

内容的离散和连续表示（例如，语言或图像）具有有趣的属性，以便通过机器的理解或推理此内容来探索或推理。该职位论文提出了我们关于离散和持续陈述的作用及其在深度学习领域的作用的意见。目前的神经网络模型计算连续值数据。信息被压缩成密集，分布式嵌入式。通过Stark对比，人类在他们的语言中使用离散符号。此类符号代表了来自共享上下文信息的含义的世界的压缩版本。此外，人工推理涉及在认知水平处符号操纵，这促进了抽象的推理，知识和理解的构成，泛化和高效学习。通过这些见解的动机，在本文中，我们认为，结合离散和持续的陈述及其处理对于构建展示一般情报形式的系统至关重要。我们建议并讨论了几个途径，可以在包含离散元件来结合两种类型的陈述的优点来改进当前神经网络。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

我们提出了一种新颖的计算模型“ Savir-T”，用于在Raven的渐进式矩阵（RPM）中体现的视觉推理问题。我们的模型考虑了拼图中每个图像中视觉元素的显式空间语义，编码为时空视标，并了解内部图像以及图像的依赖依赖性依赖性，与视觉推理任务高度相关。通过基于变压器的SAVIR-T体系结构建模的令牌关系，提取组（行或列）通过利用组规则相干性并将其用作电感偏置来提取前两行中的基本规则表示形式，从而引起了提取组（行或列）驱动的表示形式（或列）RPM中的每个令牌。我们使用此关系表示形式来找到正确的选择图像，该图像完成了RPM的最后一行或列。在两个合成RPM基准测试中进行了广泛的实验，包括Raven，I-Raven，Raven-Fair和PGM以及基于自然图像的“ V-Prom”，这表明Savir-T为视觉设定了新的最新时间推理，超过了先前模型的性能。

强化学习者必须推广其培训经验。先前的工作主要集中在相同的培训和评估环境上。从最近引入的Crafter Benchmark（一个2D开放世界生存游戏）开始，我们引入了一套新的环境，适合评估某些代理商对以前看不见的（数量）对象的概括并快速适应（元学习）的能力。在Crafter中，通过培训1M步骤时，通过未锁定成就（例如收集资源）来评估代理商。我们表明，当前的代理商努力概括，并引入新颖的以对象为中心的代理，从而改善了强大的基准。我们还通过多个实验为未来在手工艺品上的工作提供了一般兴趣的关键见解。我们表明，仔细的超参数调整可以通过大幅度提高PPO基线代理，即使是前馈代理也可以通过依靠库存显示来解锁所有成就。我们在原始的手工环境中实现了新的最新性能。此外，当经过100万步的​​培训时，我们的调整代理几乎可以解锁所有成就。我们表明，即使删除了库存信息，复发性PPO代理也比进发料剂改进了。我们介绍Crafterood，这是一组15个新的环境，可以评估OOD概括。在Crafterood上，我们表明目前的代理无法概括，而我们的新颖中心的代理人实现了最新的OOD概括，同时也可以解释。我们的代码是公开的。

以对象为中心的表示是人类感知的基础，并使我们能够对世界进行推理，并系统地推广到新的环境。当前，大多数在无监督的对象发现上的作品集中在基于插槽的方法上，这些方法明确将单个对象的潜在表示分开。尽管结果很容易解释，但通常需要设计相关建筑的设计。与此相反，我们提出了一种相对简单的方法 - 复杂的自动编码器（CAE） - 创建分布式以对象为中心的表示。遵循对生物神经元中对象表示为基础的编码方案，其复杂值激活表示两个消息：它们的幅度表达了特征的存在，而神经元之间的相对相位差异应绑定在一起以创建关节对象表示。 。与以前使用复杂值激活进行对象发现的方法相反，我们提出了一种完全无监督的方法，该方法是端到端训练的 - 导致了性能和效率的显着提高。此外，我们表明，与最新的基于最新的插槽方法相比，CAE在简单的多对象数据集上实现了竞争性或更好的无监督对象发现性能，同时训练的速度要快100倍。