Aliasing is a highly important concept in signal processing, as careful consideration of resolution changes is essential in ensuring transmission and processing quality of audio, image, and video. Despite this, up until recently aliasing has received very little consideration in Deep Learning, with all common architectures carelessly sub-sampling without considering aliasing effects. In this work, we investigate the hypothesis that the existence of adversarial perturbations is due in part to aliasing in neural networks. Our ultimate goal is to increase robustness against adversarial attacks using explainable, non-trained, structural changes only, derived from aliasing first principles. Our contributions are the following. First, we establish a sufficient condition for no aliasing for general image transformations. Next, we study sources of aliasing in common neural network layers, and derive simple modifications from first principles to eliminate or reduce it. Lastly, our experimental results show a solid link between anti-aliasing and adversarial attacks. Simply reducing aliasing already results in more robust classifiers, and combining anti-aliasing with robust training out-performs solo robust training on $L_2$ attacks with none or minimal losses in performance on $L_{\infty}$ attacks.

Learning image representations using synthetic data allows training neural networks without some of the concerns associated with real images, such as privacy and bias. Existing work focuses on a handful of curated generative processes which require expert knowledge to design, making it hard to scale up. To overcome this, we propose training with a large dataset of twenty-one thousand programs, each one generating a diverse set of synthetic images. These programs are short code snippets, which are easy to modify and fast to execute using OpenGL. The proposed dataset can be used for both supervised and unsupervised representation learning, and reduces the gap between pre-training with real and procedurally generated images by 38%.

Modern retrieval system often requires recomputing the representation of every piece of data in the gallery when updating to a better representation model. This process is known as backfilling and can be especially costly in the real world where the gallery often contains billions of samples. Recently, researchers have proposed the idea of Backward Compatible Training (BCT) where the new representation model can be trained with an auxiliary loss to make it backward compatible with the old representation. In this way, the new representation can be directly compared with the old representation, in principle avoiding the need for any backfilling. However, followup work shows that there is an inherent tradeoff where a backward compatible representation model cannot simultaneously maintain the performance of the new model itself. This paper reports our ``not-so-surprising'' finding that adding extra dimensions to the representation can help here. However, we also found that naively increasing the dimension of the representation did not work. To deal with this, we propose Backward-compatible Training with a novel Basis Transformation ($BT^2$). A basis transformation (BT) is basically a learnable set of parameters that applies an orthonormal transformation. Such a transformation possesses an important property whereby the original information contained in its input is retained in its output. We show in this paper how a BT can be utilized to add only the necessary amount of additional dimensions. We empirically verify the advantage of $BT^2$ over other state-of-the-art methods in a wide range of settings. We then further extend $BT^2$ to other challenging yet more practical settings, including significant change in model architecture (CNN to Transformers), modality change, and even a series of updates in the model architecture mimicking the evolution of deep learning models.

我们介绍了一种新的图像取证方法：将物理折射物（我们称为图腾）放入场景中，以保护该场景拍摄的任何照片。图腾弯曲并重定向光线，因此在单个图像中提供了多个（尽管扭曲）的多个（尽管扭曲）。防守者可以使用这些扭曲的图腾像素来检测是否已操纵图像。我们的方法通过估计场景中的位置并使用其已知的几何和材料特性来估算其位置，从而使光线通过图腾的光线不十障。为了验证图腾保护的图像，我们从图腾视点重建的场景与场景的外观从相机的角度来检测到不一致之处。这样的方法使对抗性操纵任务更加困难，因为对手必须以几何一致的方式对图腾和图像像素进行修改，而又不知道图腾的物理特性。与先前的基于学习的方法不同，我们的方法不需要在特定操作的数据集上进行培训，而是使用场景和相机的物理属性来解决取证问题。

对象看起来和声音的方式提供了对其物理特性的互补反射。在许多设置中，视觉和试听的线索都异步到达，但必须集成，就像我们听到一个物体掉落在地板上，然后必须找到它时。在本文中，我们介绍了一个设置，用于研究3D虚拟环境中的多模式对象定位。一个物体在房间的某个地方掉落。配备了摄像头和麦克风的具体机器人剂必须通过将音频和视觉信号与知识的基础物理学结合来确定已删除的对象以及位置。为了研究此问题，我们生成了一个大规模数据集 - 倒下的对象数据集 - 其中包括64个房间中30个物理对象类别的8000个实例。该数据集使用Threedworld平台，该平台可以模拟基于物理的影响声音和在影片设置中对象之间的复杂物理交互。作为解决这一挑战的第一步，我们基于模仿学习，强化学习和模块化计划，开发了一组具体的代理基线，并对这项新任务的挑战进行了深入的分析。

我们介绍了本地重新考虑的任务，该任务通过打开和关闭图像中可见的光源来改变场景的照片。这项新任务与传统的图像重新确定问题不同，因为它引入了检测光源并推断出从它们中散发出的光模式的挑战。我们提出了一种用于本地重新考虑的方法，该方法通过使用另一个模型的合成生成的图像对来训练模型，而无需监督任何新型图像数据集。具体而言，我们从样式空间操纵的gan中收集了配对的训练图像；然后，我们使用这些图像来训练有条件的图像到图像模型。为了基于本地重新测试，我们介绍了Lonoff，这是一个在室内空间中拍摄的306张精确对齐图像的集合，其中灯的不同组合打开了。我们表明，我们的方法显着优于基于GAN倒置的基线方法。最后，我们演示了分别控制不同光源的方法的扩展。我们邀请社区解决这项新的当地重新任务。

将信号与噪声分开的能力以及干净的抽象对智能至关重要。有了这种能力，人类可以在不考虑所有可能的滋扰因素的情况下有效执行现实世界任务。人造代理可以做同样的事情？当噪音时，代理可以安全地丢弃什么样的信息？在这项工作中，我们根据可控性和与奖励的关系将野外信息分为四种类型，并将有用的信息归为可控和奖励相关的有用信息。该框架阐明了有关强化学习（RL）中的各种先前工作所删除的信息，并导致我们提出的学习方法，即学习一种已明确影响某些噪声分散注意器的DeNOCONE MDP。对DeepMind Control Suite和Robodesk的变体进行的广泛实验表明，我们的DeNocy World模型的表现优于仅使用原始观测值，并且超过了先前的工作，跨政策优化控制任务以及关节位置回归的非控制任务。

从极端视图图像中恢复相机的空间布局和场景的几何形状是计算机视觉的长期挑战。盛行的3D重建算法通常采用匹配范式的图像，并假定场景的一部分是可以在图像上进行的，当输入之间几乎没有重叠时的性能较差。相比之下，人类可以通过形状的先验知识将一个图像中的可见部分与另一个图像中相应的不可见组件相关联。受这个事实的启发，我们提出了一个名为虚拟通信（VC）的新颖概念。 VC是来自两个图像的一对像素，它们的相机射线在3D中相交。与经典的对应关系相似，VC符合异性几何形状；与经典的信件不同，VC不需要在视图上可以共同提供。因此，即使图像不重叠，也可以建立和利用VC。我们介绍了一种方法，可以在场景中找到基于人类的虚拟对应关系。我们展示了如何与经典捆绑捆绑调整无缝集成的风险投资，以恢复跨极视图的相机姿势。实验表明，在具有挑战性的情况下，我们的方法显着优于最先进的摄像头姿势估计方法，并且在传统的密集捕获的设置中是可比的。我们的方法还释放了多个下游任务的潜力，例如在极端视图场景中从多视图立体声和新型视图合成中进行场景重建。

剪辑网络衡量自然文本和图像之间的相似性；在这项工作中，我们研究了其图像编码器中单词图像和自然图像的表示的纠缠。首先，我们发现图像编码器具有将单词图像与这些单词描述的场景的自然图像匹配的能力。这与先前的研究一致，该研究表明，单词的含义和拼写可能会纠缠在网络内。另一方面，我们还发现剪辑具有强大的匹配无意义单词的能力，这表明字母的处理与其含义的处理分开。为了明确确定剪辑的拼写能力是否可分离，我们设计了一个步骤来识别代表子空间，这些子空间有选择地隔离或消除拼写功能。我们根据一系列检索任务进行基准测试方法，并通过测量夹子引导的生成图像中的文本外观进行测试。我们发现我们的方法能够与自然图像的视觉处理清晰地分开剪辑的拼写功能。

大型文本引导的扩散模型（例如Dalle-2）能够在自然语言描述下生成令人惊叹的影像图像。尽管这样的模型非常灵活，但它们很难理解某些概念的组成，例如使不同对象的属性或对象之间的关系混淆。在本文中，我们提出了一种使用扩散模型的替代结构化方法来生成组成。图像是通过组成一组扩散模型来生成的，每个扩散模型都对图像的某个组件进行建模。为此，我们将扩散模型解释为基于能量的模型，其中可以明确组合能量函数定义的数据分布。所提出的方法可以在测试时间生成比训练中看到的场景要复杂得多，构成句子描述，对象关系，人面部属性，甚至对在现实世界中很少见的新组合进行推广。我们进一步说明了如何使用我们的方法来组成预训练的文本引导的扩散模型，并生成包含输入描述中描述的所有细节的影像图像，包括对Dalle-2表现出的某些对象属性的结合。这些结果表明，所提出的方法在促进视觉产生的结构化概括方面的有效性。项目页面：https：//energy-lase-model.github.io/compositional-visual-generation-with-composable-diffusion-models/