算法稳定性是一种学习理论的概念，其表示对输入数据的改变的程度（例如，删除单个数据点）可能会影响回归算法的输出。了解算法的稳定性属性通常对许多下游应用程序有用 - 例如，已知稳定性导致所需的概括性属性和预测推理保证。然而，目前在实践中使用的许多现代算法太复杂，无法对其稳定性的理论分析，因此我们只能通过算法在各种数据集上的行为的实证探索来尝试建立这些属性。在这项工作中，我们为这种“黑匣子测试”奠定了一个正式的统计框架，而没有任何关于算法或数据分布的假设，并在任何黑匣子测试识别算法稳定性的能力方面建立基本界限。

最近在自我监督学习中的最先进的框架最近表明，与传统的CNN型号相比，基于变压器的模型可以导致性能提升。繁荣以最大化图像的两个视图的相互信息，现有的作品对最终陈述具有对比损失。在我们的工作中，我们通过通过对比损失允许中间表示从最终层学习来进一步利用这一点，这可以最大化原始目标的上限和两层之间的相互信息。我们的方法，自蒸馏自我监督学习（SDSSL），胜过竞争基础（SIMCLR，BYOL和MOCO V3）使用各种任务和数据集。在线性评估和K-NN协议中，SDSSL不仅导致最终层的性能优异，而且在大多数下层中也是如此。此外，正负对准用于解释如何更有效地形成表示。代码将可用。

Purpose: Considering several patients screened due to COVID-19 pandemic, computer-aided detection has strong potential in assisting clinical workflow efficiency and reducing the incidence of infections among radiologists and healthcare providers. Since many confirmed COVID-19 cases present radiological findings of pneumonia, radiologic examinations can be useful for fast detection. Therefore, chest radiography can be used to fast screen COVID-19 during the patient triage, thereby determining the priority of patient's care to help saturated medical facilities in a pandemic situation. Methods: In this paper, we propose a new learning scheme called self-supervised transfer learning for detecting COVID-19 from chest X-ray (CXR) images. We compared six self-supervised learning (SSL) methods (Cross, BYOL, SimSiam, SimCLR, PIRL-jigsaw, and PIRL-rotation) with the proposed method. Additionally, we compared six pretrained DCNNs (ResNet18, ResNet50, ResNet101, CheXNet, DenseNet201, and InceptionV3) with the proposed method. We provide quantitative evaluation on the largest open COVID-19 CXR dataset and qualitative results for visual inspection. Results: Our method achieved a harmonic mean (HM) score of 0.985, AUC of 0.999, and four-class accuracy of 0.953. We also used the visualization technique Grad-CAM++ to generate visual explanations of different classes of CXR images with the proposed method to increase the interpretability. Conclusions: Our method shows that the knowledge learned from natural images using transfer learning is beneficial for SSL of the CXR images and boosts the performance of representation learning for COVID-19 detection. Our method promises to reduce the incidence of infections among radiologists and healthcare providers.

对比方法导致了最近的自我监督表示学习（SSL）的表现激增。诸如BYOL或SIMSIAM之类的最新方法据称将这些对比方法提炼为它们的本质，消除了钟声和哨子，包括负面示例，这些示例不影响下游性能。这些“非对比度”方法的工作非常出色，而无需使用负面因素，即使全球最低限度的崩溃都在淡化。我们通过经验分析了这些非对抗性方法，发现Simsiam对数据集和模型大小非常敏感。特别是，如果模型相对于数据集大小而言太小，则SIMSIAM表示会经历部分维度崩溃。我们提出了一个度量标准来测量这种崩溃的程度，并表明它可以用于预测下游任务性能，而无需任何微调或标签。我们进一步分析建筑设计选择及其对下游性能的影响。最后，我们证明，转移到持续的学习设置充当正规化器并防止崩溃，并且在Imagenet上使用Resnet-18，连续和多上述训练之间的混合物可以提高线性探针精度多达18个百分点。

石油和天然气行业中的相似性学习问题旨在构建一个模型，该模型估算以记录数据的间隔测量之间的相似性。以前的尝试主要基于经验规则，因此我们的目标是自动化此过程并排除昂贵且耗时的专家标签。相似性学习的方法之一是自学学习（SSL）。与监督范式相反，该数据几乎不需要标签。因此，即使缺乏或稀缺，我们也可以学习此类模型。如今，大多数SSL方法都是对比和非对抗性的。但是，由于可能对正和负样本进行错误的标记，对比度方法的扩展并不能很好地扩展到对象的数量。非对比度方法不依赖负样本。这种方法在计算机视觉中积极使用。我们为时间序列数据引入了非对比度SSL。特别是，我们建立在Byol和Barlow双胞胎方法的基础上，这些方法避免使用负对，仅专注于匹配正对。这些方法的关键部分是增强策略。存在时间序列的不同增强，而它们对性能的影响可能是正面的和负面的。我们对BYOL和BARLOW双胞胎的增强策略和适应性，使我们能够比其他自我监督的方法（仅ARI $ = 0.34 $）实现更高的质量（ARI $ = 0.49 $），证明了拟议中的非对比性自我的有用性间隔相似性问题和时间序列表示总体学习的监督方法。

最近，深度学习方法已成功地用于解决数字病理领域的众多挑战。但是，其中许多方法都是完全监督的，需要带注释的图像。对组织学的注释图像对于即使是高技能病理学家来说也是一个耗时且乏味的过程，因此，大多数组织学数据集缺乏利益区域的注释，并且标记弱。在本文中，我们介绍了Historoperm，这是一种旨在提高弱监督环境中组织学图像的表示技术的性能的视图生成方法。在组织培训中，我们列出了从整体组织学图像产生的斑块的增强视图，以提高分类精度。这些排列的视图属于相同的原始幻灯片级别，但是由不同的贴片实例产生的。我们在两个公共组织学数据集和肾细胞癌的两个公共组织学数据集上测试了BYOL和SIMCLR添加组织培训。对于两个数据集，我们发现与标准BYOL和SIMCLR方法相比，在准确性，F1得分和AUC方面的性能都得到了改善。特别是，在线性评估构型中，HistoPerm将BYOL的腹腔疾病数据集的分类精度提高了8％，SIMCLR的分类精度增加了3％。同样，在组织培训的情况下，BYOL的分类精度增加了2％，而SIMCLR在肾细胞癌数据集上的精度增加了0.25％。可以在共同表示学习框架中采用拟议的基于置换的视图生成方法，以捕获弱监督的设置中的组织病理学特征，并可能导致整个斜面分类结果接近甚至比完全监督的方法接近甚至更好。

最近，电子学习平台已经发展为学生可以发表疑问（用智能手机拍摄的快照）并在几分钟内解决的地方。但是，这些平台的质量差异很大的学生寄出疑问的数量显着增加，这不仅给教师导航解决方案带来了挑战，还增加了每个疑问的分辨率时间。两者都是不可接受的，因为高度怀疑的时间阻碍了学生学习进度的学习。这需要方法来自动识别存储库中是否存在类似的疑问，然后将其作为验证和与学生沟通的合理解决方案。监督的学习技术（如暹罗建筑）需要标签来识别比赛，这是不可行的，因为标签稀缺且昂贵。因此，在这项工作中，我们基于通过自我监督技术学到的表示形式开发了符合范式的标签不足的疑问。在BYOL的先前理论见解（Bootstrap您自己的潜在空间）的基础上，我们提出了Custom Byol，将特定于域特异性的增强与对比目标结合在一起，而不是各种适当构建的数据视图。结果强调，与BYOL和监督学习实例相比，Custom Byol分别将TOP-1匹配精度提高了大约6 \％和5 \％。我们进一步表明，基于BYOL的学习实例在标准杆上的性能比人类标签更好。

有监督的深度学习算法具有自动化筛查，监视和分级的医学图像的巨大潜力。但是，培训表现模型通常需要大量的标记数据，这在医疗领域几乎无法获得。自我监督的对比框架通过首先从未标记的图像中学习来放松这种依赖性。在这项工作中，我们表明使用两种对比方法进行了预处理，即SIMCLR和BYOL，就与年龄相关的黄斑变性（AMD）的临床评估有关深度学习的实用性。在实验中，使用两个大型临床数据集，其中包含7,912名患者的170,427个光学相干断层扫描（OCT）图像，我们评估了从AMD阶段和类型分类到功能性终点的七个下游任务，从七个下游任务进行预处理，从在标签较少的七个任务中，六个任务中有六个显着增加。但是，标准的对比框架具有两个已知的弱点，这些弱点不利于医疗领域的预处理。用于创建正面对比对的几种图像转换不适用于灰度医学扫描。此外，医学图像通常描绘了相同的解剖区域和疾病的严重程度，从而导致许多误导性负面对。为了解决这些问题，我们开发了一种新颖的元数据增强方法，该方法利用了丰富的固有可用患者信息集。为此，我们采用了患者身份，眼睛位置（即左或右）和时间序列数据的记录，以指示典型的不可知的对比关系。通过利用这种经常被忽视的信息，我们元数据增强的对比预处理可带来进一步的好处，并且在下游七个任务中有五个任务中的五个中的五分之一。

医学图像分析的申请遭受了医学专家正确注释的大量数据的急性短缺。监督的学习算法需要大量平衡数据才能学习稳健的表示。经常有监督的学习算法需要各种技术来处理不平衡的数据。另一方面，自我监督的学习算法在数据中是强大的，并且能够学习强大的表示。在这项工作中，我们使用梯度积累技术训练3D BYOL自制模型，以处理自我监督算法中通常需要的批处理中的大量样品。据我们所知，这项工作是该领域中第一个此类工作之一。我们比较了通过当代自我监督预训练的预训练方法以及用动力学400预训练的预训练的RESNET3D-18比较通过实验在ACL泪受损伤检测的下游任务中获得的结果。从下游任务实验中，很明显，所提出的框架优于现有基线。

我们专注于更好地理解增强不变代表性学习的关键因素。我们重新访问moco v2和byol，并试图证明以下假设的真实性：不同的框架即使具有相同的借口任务也会带来不同特征的表示。我们建立了MoCo V2和BYOL之间公平比较的第一个基准，并观察：（i）复杂的模型配置使得可以更好地适应预训练数据集； （ii）从实现竞争性转移表演中获得的预训练和微调阻碍模型的优化策略不匹配。鉴于公平的基准，我们进行进一步的研究并发现网络结构的不对称性赋予对比框架在线性评估协议下正常工作，同时可能会损害长尾分类任务的转移性能。此外，负样本并不能使模型更明智地选择数据增强，也不会使不对称网络结构结构。我们相信我们的发现为将来的工作提供了有用的信息。