我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

现有的无监督方法用于关键点学习的方法在很大程度上取决于以下假设：特定关键点类型（例如肘部，数字，抽象几何形状）仅在图像中出现一次。这极大地限制了它们的适用性，因为在应用未经讨论或评估的方法之前必须隔离每个实例。因此，我们提出了一种新的方法来学习任务无关的，无监督的关键点（Tusk），可以处理多个实例。为了实现这一目标，我们使用单个热图检测，而不是常用的多个热图的常用策略，而是专门针对特定的关键点类型，并通过群集实现了对关键点类型的无监督学习。具体来说，我们通过教导它们从一组稀疏的关键点及其描述符中重建图像来编码语义，并在其中被迫在学术原型中形成特征空间中的不同簇。这使我们的方法适合于更广泛的任务范围，而不是以前的任何无监督关键点方法：我们显示了有关多种现实检测和分类，对象发现和地标检测的实验 - 与艺术状况相同的无监督性能，同时也能够处理多个实例。

诸如关键点之类的结构化表示形式被广泛用于姿势传输，条件图像生成，动画和3D重建。但是，他们的监督学习需要每个目标域的昂贵注释。我们提出了一种自我监督的方法，该方法学会从外观上脱离对象结构，并用直边链接的2D关键点的图形。只有描绘同一对象类的图像集合，都学会了关键点的位置及其成对边缘权重。该图是可以解释的，例如，当应用于显示人的图像时，自动链接会恢复人类骨架拓扑。我们的关键要素是i）一个编码器，该编码器可预测输入图像中的关键点位置，ii）共享图作为一个潜在变量，该图形在每个图像中链接了相同的对键点，iii）一个中间边缘映射，结合了潜在图形边缘权重和关键点的位置以柔软，可区分的方式以及iv）在随机掩盖的图像上的介入目标。尽管更简单，但自动链接在已建立的关键点上优于现有的自我监督方法，并构成估计基准，并为更多样化的数据集上的结构调节生成模型铺平了道路。

为了帮助代理在其构建块方面的场景的原因，我们希望提取任何给定场景的组成结构（特别是包括场景的对象的配置和特征）。当需要推断出现在代理的位置/观点的同时需要推断场景结构时，这个问题特别困难，因为两个变量共同引起代理人的观察。我们提出了一个无监督的变分方法来解决这个问题。利用不同场景存在的共享结构，我们的模型学会从RGB视频输入推断出两组潜在表示：一组“对象”潜伏，对应于场景的时间不变，对象级内容，如以及一组“帧”潜伏，对应于全局时变元素，例如视点。这种潜水所的分解允许我们的模型Simone，以单独的方式表示对象属性，其不依赖于视点。此外，它允许我们解解对象动态，并将其轨迹总结为时间抽象的，查看 - 不变，每个对象属性。我们在三个程序生成的视频数据集中展示了这些功能，以及在查看合成和实例分段方面的模型的性能。

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

Human perception is structured around objects which form the basis for our higher-level cognition and impressive systematic generalization abilities. Yet most work on representation learning focuses on feature learning without even considering multiple objects, or treats segmentation as an (often supervised) preprocessing step. Instead, we argue for the importance of learning to segment and represent objects jointly. We demonstrate that, starting from the simple assumption that a scene is composed of multiple entities, it is possible to learn to segment images into interpretable objects with disentangled representations. Our method learns -without supervision -to inpaint occluded parts, and extrapolates to scenes with more objects and to unseen objects with novel feature combinations. We also show that, due to the use of iterative variational inference, our system is able to learn multi-modal posteriors for ambiguous inputs and extends naturally to sequences.

Image animation consists of generating a video sequence so that an object in a source image is animated according to the motion of a driving video. Our framework addresses this problem without using any annotation or prior information about the specific object to animate. Once trained on a set of videos depicting objects of the same category (e.g. faces, human bodies), our method can be applied to any object of this class. To achieve this, we decouple appearance and motion information using a self-supervised formulation. To support complex motions, we use a representation consisting of a set of learned keypoints along with their local affine transformations. A generator network models occlusions arising during target motions and combines the appearance extracted from the source image and the motion derived from the driving video. Our framework scores best on diverse benchmarks and on a variety of object categories. Our source code is publicly available 1 .

Learning object-centric representations of complex scenes is a promising step towards enabling efficient abstract reasoning from low-level perceptual features. Yet, most deep learning approaches learn distributed representations that do not capture the compositional properties of natural scenes. In this paper, we present the Slot Attention module, an architectural component that interfaces with perceptual representations such as the output of a convolutional neural network and produces a set of task-dependent abstract representations which we call slots. These slots are exchangeable and can bind to any object in the input by specializing through a competitive procedure over multiple rounds of attention. We empirically demonstrate that Slot Attention can extract object-centric representations that enable generalization to unseen compositions when trained on unsupervised object discovery and supervised property prediction tasks.

以对象表示的学习背后的想法是，自然场景可以更好地建模为对象的组成及其关系，而不是分布式表示形式。可以将这种归纳偏置注入神经网络中，以可能改善具有多个对象的场景中下游任务的系统概括和性能。在本文中，我们在五个常见的多对象数据集上训练最先进的无监督模型，并评估细分指标和下游对象属性预测。此外，我们通过调查单个对象不超出分布的设置（例如，具有看不见的颜色，质地或形状或场景的全局属性）来研究概括和鲁棒性，例如，通过闭塞来改变，裁剪或增加对象的数量。从我们的实验研究中，我们发现以对象为中心的表示对下游任务很有用，并且通常对影响对象的大多数分布转移有用。但是，当分布转移以较低结构化的方式影响输入时，在模型和分布转移的情况下，分割和下游任务性能的鲁棒性可能会有很大差异。

将图像分段为其部件是频繁预处理，用于高级视觉任务，例如图像编辑。然而，用于监督培训的注释面具是昂贵的。存在弱监督和无监督的方法，但它们依赖于图像对的比较，例如来自多视图，视频帧和单个图像的图像转换，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，可以在潜在掩模上生成图像，从而减轻了先前方法所需的完整或弱注释。我们表明，当在明确地定义零件位置的潜在关键点上以分层方式调节掩模时，可以忠实地学习这种掩模条件的图像生成。在不需要监督掩模或点的情况下，该策略增加了对观点和对象位置变化的鲁棒性。它还允许我们生成用于训练分段网络的图像掩码对，这优于已建立的基准的最先进的无监督的分段方法。

视觉世界可以以稀疏相互作用的不同实体来嘲笑。在动态视觉场景中发现这种组合结构已被证明对端到端的计算机视觉方法有挑战，除非提供明确的实例级别的监督。利用运动提示的基于老虎机的模型最近在学习代表，细分和跟踪对象的情况下没有直接监督显示了巨大的希望，但是它们仍然无法扩展到复杂的现实世界多对象视频。为了弥合这一差距，我们从人类发展中汲取灵感，并假设以深度信号形式的场景几何形状的信息可以促进以对象为中心的学习。我们介绍了一种以对象为中心的视频模型SAVI ++，该模型经过训练，可以预测基于插槽的视频表示的深度信号。通过进一步利用模型缩放的最佳实践，我们能够训练SAVI ++以细分使用移动摄像机记录的复杂动态场景，其中包含在自然主义背景上具有不同外观的静态和移动对象，而无需进行分割监督。最后，我们证明，通过使用从LIDAR获得的稀疏深度信号，Savi ++能够从真实World Waymo Open DataSet中的视频中学习新兴对象细分和跟踪。

Object-centric representation is an essential abstraction for forward prediction. Most existing forward models learn this representation through extensive supervision (e.g., object class and bounding box) although such ground-truth information is not readily accessible in reality. To address this, we introduce KINet (Keypoint Interaction Network) -- an end-to-end unsupervised framework to reason about object interactions based on a keypoint representation. Using visual observations, our model learns to associate objects with keypoint coordinates and discovers a graph representation of the system as a set of keypoint embeddings and their relations. It then learns an action-conditioned forward model using contrastive estimation to predict future keypoint states. By learning to perform physical reasoning in the keypoint space, our model automatically generalizes to scenarios with a different number of objects, novel backgrounds, and unseen object geometries. Experiments demonstrate the effectiveness of our model in accurately performing forward prediction and learning plannable object-centric representations which can also be used in downstream robotic manipulation tasks.

代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。

在自动驾驶中，在车辆周围所有代理的位置和运动方面预测未来是计划的关键要求。最近，通过将多个相机感知的丰富感觉信息融合到紧凑的鸟类视图表示以执行预测的情况下，已经出现了一种新的感知和预测的联合表述。但是，由于多个合理的预测，未来预测的质量会随着时间的推移而降低到更长的时间范围。在这项工作中，我们通过随机时间模型解决了未来预测中的这种固有的不确定性。我们的模型通过在每个时间步骤中通过随机残差更新来学习潜在空间中的时间动态。通过在每个时间步骤中从学习的分布中取样，我们获得了与以前的工作相比更准确的未来预测，尤其是在现场的空间上扩展两个区域，并在更长的时间范围内进行时间范围。尽管每个时间步骤进行了单独的处理，但我们的模型仍然通过解耦动态学习和未来预测的产生而有效。

传感器融合可以显着提高许多计算机视觉任务的性能。但是，传统的融合方法要么不是数据驱动的，也不能利用先验知识，也不能在给定数据集中找到规律性，或者它们仅限于单个应用程序。我们通过呈现一种新型深层分层变异自动编码器来克服这一缺点，称为FusionVae，可以作为许多融合任务的基础。我们的方法能够生成以多个嘈杂，遮挡或仅部分可见的输入图像来调节的各种图像样本。我们得出并优化了融合的条件对数似然的变化下限。为了彻底评估模型的融合功能，我们根据流行的计算机视觉数据集创建了三个新颖的图像融合数据集。在我们的实验中，我们表明FusionVae学习了与融合任务相关的汇总信息的表示。结果表明，我们的方法表现明显优于传统方法。此外，我们介绍了不同设计选择的优势和缺点。

我们提出了一种学习来自未标识的行为视频的代理的姿势和结构的方法。从观察开始，表现代理通常是行为视频中的主要运动来源，我们的方法使用具有几何瓶颈的编码器 - 解码器架构来重建视频帧之间的差异。只要仅关注运动区域，我们的方法直接在输入视频上工作，而无需手动注释，例如关键点或边界框。关于各种代理类型（鼠标，飞，人，水母和树木）的实验展示了我们的方法的一般性，并揭示了我们发现的关键点代表着语义有意义的身体部位，这在关键点回归上实现了最先进的性能在自我监督的方法中。此外，我们发现的关键点可实现可比的性能，以对下游任务的监督关键点，例如行为分类，表明我们的方法可以大大降低模型培训VIS-VIS监督方法的成本。

Autonomous systems not only need to understand their current environment, but should also be able to predict future actions conditioned on past states, for instance based on captured camera frames. However, existing models mainly focus on forecasting future video frames for short time-horizons, hence being of limited use for long-term action planning. We propose Multi-Scale Hierarchical Prediction (MSPred), a novel video prediction model able to simultaneously forecast future possible outcomes of different levels of granularity at different spatio-temporal scales. By combining spatial and temporal downsampling, MSPred efficiently predicts abstract representations such as human poses or locations over long time horizons, while still maintaining a competitive performance for video frame prediction. In our experiments, we demonstrate that MSPred accurately predicts future video frames as well as high-level representations (e.g. keypoints or semantics) on bin-picking and action recognition datasets, while consistently outperforming popular approaches for future frame prediction. Furthermore, we ablate different modules and design choices in MSPred, experimentally validating that combining features of different spatial and temporal granularity leads to a superior performance. Code and models to reproduce our experiments can be found in https://github.com/AIS-Bonn/MSPred.

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。