The development of deep learning based image representation learning (IRL) methods has attracted great attention in the context of remote sensing (RS) image understanding. Most of these methods require the availability of a high quantity and quality of annotated training images, which can be time-consuming and costly to gather. To reduce labeling costs, publicly available thematic maps, automatic labeling procedures or crowdsourced data can be used. However, such approaches increase the risk of including label noise in training data. It may result in overfitting on noisy labels when discriminative reasoning is employed as in most of the existing methods. This leads to sub-optimal learning procedures, and thus inaccurate characterization of RS images. In this paper, as a first time in RS, we introduce a generative reasoning integrated label noise robust representation learning (GRID) approach. GRID aims to model the complementary characteristics of discriminative and generative reasoning for IRL under noisy labels. To this end, we first integrate generative reasoning into discriminative reasoning through a variational autoencoder. This allows our approach to automatically detect training samples with noisy labels. Then, through our label noise robust hybrid representation learning strategy, GRID adjusts the whole learning procedure for IRL of these samples through generative reasoning and that of the other samples through discriminative reasoning. Our approach learns discriminative image representations while preventing interference of noisy labels during training independently from the IRL method. Thus, unlike the existing methods, GRID does not depend on the type of annotation, label noise, neural network, loss or learning task, and thus can be utilized for various RS image understanding problems. Experimental results show the effectiveness of GRID compared to state-of-the-art methods.

由于多模式遥感（RS）图像档案的可用性，最重要的研究主题之一是开发跨模式RS图像检索（CM-RSIR）方法，该方法可以在不同模态上搜索语义上相似的图像。现有的CM-RSIR方法需要提供高质量和数量的带注释的培训图像。在操作方案中，收集足够数量的可靠标记图像是耗时，复杂且昂贵的，并且可能会显着影响CM-RSIR的最终准确性。在本文中，我们介绍了一种新颖的自我监督的CM-RSIR方法，其目的是：i）以自我监督的方式模拟不同方式之间的相互信息； ii）保留彼此相似的模态特异性特征空间的分布； iii）在每种模式中定义最相似的图像，而无需任何带注释的训练图像。为此，我们提出了一个新的目标，其中包括同时同时使用的三个损失函数：i）最大化不同模态的共同信息以保存模式间相似性； ii）最小化多模式图像元素的角度距离，以消除模式间差异； iii）增加每种模式中最相似图像的余弦相似性，以表征模式内相似性。实验结果表明，与最新方法相比，该方法的有效性。该方法的代码可在https://git.tu-berlin.de/rsim/ss-cm-rsir上公开获得。

本文介绍了一种基于深度度量学习的新型半监督回归（DML-S2R）方法，以解决参数估计问题。提出的DML-S2R方法旨在减轻标记样品不足的问题，而无需收集任何具有目标值的其他样本。为此，它由两个主要步骤组成：i）具有稀缺标记的数据的成对相似性建模； ii）基于三胞胎的度量学习，并具有丰富的未标记数据。第一步旨在通过使用少量标记的样品对成对样品相似性进行建模。这是通过估计具有暹罗神经网络（SNN）标记样品的目标值差异来实现的。第二步旨在学习一个基于三重态的度量空间（其中相似的样品彼此接近，并且相差样本彼此相距甚远），当时标记的样品数量不足。这是通过采用第一步的SNN来实现的，用于基于三重态的深度度量学习，不仅利用了标记的样品，而且还可以利用未标记的样本。对于DML-S2R的端到端培训，我们研究了这两个步骤的替代学习策略。由于这种策略，每个步骤中的编码信息成为另一个步骤学习阶段的指导。实验结果证实了DML-S2R与最先进的半监督回归方法相比的成功。该方法的代码可在https://git.tu-berlin.de/rsim/dml-s2r上公开获得。

学习遥感（RS）图像之间的相似性形成基于内容的RS图像检索（CBIR）的基础。最近，将图像的语义相似性映射到嵌入（度量标准）空间的深度度量学习方法已经发现非常流行。学习公制空间的常见方法依赖于将与作为锚称为锚的参考图像的类似（正）和不同（负）图像的三胞胎的选择。选择三胞胎是一个难以为多标签RS CBIR的困难任务，其中每个训练图像由多个类标签注释。为了解决这个问题，在本文中，我们提出了一种在为多标签RS CBIR问题定义的深神经网络（DNN）的框架中提出了一种新颖的三联样品采样方法。该方法基于两个主要步骤选择一小部分最多代表性和信息性三元组。在第一步中，使用迭代算法从当前迷你批量选择在嵌入空间中彼此多样化的一组锚。在第二步中，通过基于新颖的策略评估彼此之间的图像的相关性，硬度和多样性来选择不同的正面和负图像。在两个多标签基准档案上获得的实验结果表明，在DNN的上下文中选择最具信息丰富和代表性的三胞胎，导致：i）降低DNN训练阶段的计算复杂性，而性能没有任何显着损失; ii）由于信息性三元组允许快速收敛，因此学习速度的增加。所提出的方法的代码在https://git.tu-berlin.de/rsim/image-reetrieval-from-tropls上公开使用。

边缘设备上有限且动态的资源激励我们部署优化的深神经网络，该网络可以调整其子网络以适应不同的资源约束。但是，现有作品通常通过在手工制作的采样空间中搜索不同的网络体系结构来构建子网络，这不仅可以导致低标准的性能，而且可能导致设备上的重新配置开销。在本文中，我们提出了一种新颖的培训算法，动态的实时稀疏子网（着装）。着装通过基于行的非结构化稀疏度从相同的骨干网络采样多个子网络，并与加权损失并联训练这些子网络。着装还利用包括参数重复使用和基于行的细粒抽样在内的策略，以进行有效的存储消耗和有效的机上适应。公共视觉数据集的广泛实验表明，与最先进的子网络相比，着装的准确性明显更高。