We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% -15% on CIFAR-10 and 11% -14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

The ImageNet Large Scale Visual Recognition Challenge is a benchmark in object category classification and detection on hundreds of object categories and millions of images. The challenge has been run annually from 2010 to present, attracting participation from more than fifty institutions. This paper describes the creation of this benchmark dataset and the advances in object recognition that have been possible as a result. We discuss the chal-

We study how robust current ImageNet models are to distribution shifts arising from natural variations in datasets. Most research on robustness focuses on synthetic image perturbations (noise, simulated weather artifacts, adversarial examples, etc.), which leaves open how robustness on synthetic distribution shift relates to distribution shift arising in real data. Informed by an evaluation of 204 ImageNet models in 213 different test conditions, we find that there is often little to no transfer of robustness from current synthetic to natural distribution shift. Moreover, most current techniques provide no robustness to the natural distribution shifts in our testbed. The main exception is training on larger and more diverse datasets, which in multiple cases increases robustness, but is still far from closing the performance gaps. Our results indicate that distribution shifts arising in real data are currently an open research problem. We provide our testbed and data as a resource for future work at https://modestyachts.github.io/imagenet-testbed/.

我们在最常用的计算机视觉，自然语言和音频数据集中的10个测试集中识别标签错误，随后研究这些标签错误的可能性影响基准结果。测试集中的错误是众多和广泛的：我们估计10个数据集的至少3.3％的误差，例如标签错误包括至少6％的想象验证集。使用自信的学习算法识别推定的标签错误，然后通过众包（51％的算法上标记的候选者的51％确实错误地标记了数据集）。传统上，机器学习从业者选择基于测试准确性部署哪种模型 - 我们的调查结果在此提出谨慎行事，提出在正确标记的测试集上判断模型可能更有用，特别是对于嘈杂的现实世界数据集。令人惊讶的是，我们发现较低的容量模型可能与现实世界数据集中的更高容量模型几乎更有用，具有高比例的错误标记数据。例如，在具有校正标签的ImageNet上：Reset-18优于Reset-50，如果最初错误标记的测试示例的普及仅增加6％。在具有校正标签的CiFar-10上：VGG-11优于VGG-19，如果最初错误标记的测试示例的患病率达到5％。在HTTPS://labelerrors.com上查看10个数据集中的测试集错误，HTTPS：//github.com/cleanlab/labelors可以再现所有标签错误。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

The PASCAL Visual Object Classes (VOC) challenge is a benchmark in visual object category recognition and detection, providing the vision and machine learning communities with a standard dataset of images and annotation, and standard evaluation procedures. Organised annually from 2005 to present, the challenge and its associated dataset has become accepted as the benchmark for object detection.This paper describes the dataset and evaluation procedure. We review the state-of-the-art in evaluated methods for both classification and detection, analyse whether the methods are statistically different, what they are learning from the images (e.g. the object or its context), and what the methods find easy or confuse. The paper concludes with lessons learnt in the three year history of the challenge, and proposes directions for future improvement and extension.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

在过去的十年中，计算机愿景，旨在了解视觉世界的人工智能分支，从简单地识别图像中的物体来描述图片，回答有关图像的问题，以及围绕物理空间的机器人操纵甚至产生新的视觉内容。随着这些任务和应用程序的现代化，因此依赖更多数据，用于模型培训或评估。在本章中，我们展示了新颖的互动策略可以为计算机愿景提供新的数据收集和评估。首先，我们提出了一种众群界面，以通过数量级加速付费数据收集，喂养现代视觉模型的数据饥饿性质。其次，我们探索使用自动社交干预措施增加志愿者贡献的方法。第三，我们开发一个系统，以确保人类对生成视觉模型的评估是可靠的，实惠和接地在心理物理学理论中。我们结束了人机互动的未来机会，以帮助计算机愿景。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。

为了使AI安全地在医院，学校和工作场所等现实世界中安全部署，它必须能够坚定地理解物理世界。这种推理的基础是物理常识：了解可用对象的物理特性和提供的能力，如何被操纵以及它们如何与其他对象进行交互。物理常识性推理从根本上是一项多感官任务，因为物理特性是通过多种模式表现出来的，其中两个是视觉和声学。我们的论文通过贡献PACS来朝着现实世界中的物理常识推理：第一个用于物理常识属性注释的视听基准。 PACS包含13,400对答案对，涉及1,377个独特的物理常识性问题和1,526个视频。我们的数据集提供了新的机会来通过将音频作为此多模式问题的核心组成部分来推进物理推理的研究领域。使用PACS，我们在我们的新挑战性任务上评估了多种最先进的模型。尽管某些模型显示出令人鼓舞的结果（精度为70％），但它们都没有人类的绩效（精度为95％）。我们通过证明多模式推理的重要性并为未来的研究提供了可能的途径来结束本文。

Web爬行的数据集已在最近的图像文本模型（例如剪辑（对比语言图像预训练）或火烈鸟）中启用了非凡的概括功能，但是对数据集创建过程知之甚少。在这项工作中，我们介绍了六个可公开可用数据源的测试床 - YFCC，LAION，概念标题，机智，redcaps，shutterstock-，以调查预训练分布如何在剪辑中诱导稳健性。我们发现，预训练数据的性能在分布变化之间有很大的变化，没有单个数据源主导。此外，我们系统地研究了这些数据源之间的相互作用，发现组合多个来源并不一定会产生更好的模型，而是稀释了最佳个体数据源的鲁棒性。我们将经验发现与简单环境中的理论见解相辅相成，其中结合训练数据还会导致稳健性稀释。此外，我们的理论模型为LAION数据集中最近采用的基于夹的数据过滤技术的成功提供了候选解释。总体而言，我们的结果表明，仅仅从Web中收集大量数据并不是建立预训练数据集以进行鲁棒性概括的最有效方法，因此需要进一步研究数据集设计。

鉴于大型语言模型的广泛能力，应该有可能朝着一般的文本的助手工作，这些助手与人类价值一致，这意味着它是有帮助，诚实的和无害的。在此方向上的初始遗传，我们研究简单的基线技术和评估，例如提示。我们发现，从模型规模增加适度的干预措施的好处，概括为各种对准评估，并不会损害大型模型的性能。接下来，我们调查与对齐，比较仿制，二进制歧视和排名偏好建模相关的几个培训目标的缩放趋势。我们发现排名优先级模型比模仿学习更好地表现得多，并且通常以模型大小更有利地缩放。相比之下，二进制歧视通常与模仿学习非常类似地执行和缩放。最后，我们研究了一种“偏好模型预训练阶段的培训阶段，其目的是在对人偏好的芬明时提高样本效率。

我们理论上和经验地证明，对抗性鲁棒性可以显着受益于半体验学习。从理论上讲，我们重新审视了Schmidt等人的简单高斯模型。这显示了标准和稳健分类之间的示例复杂性差距。我们证明了未标记的数据桥接这种差距：简单的半体验学习程序（自我训练）使用相同数量的达到高标准精度所需的标签实现高的强大精度。经验上，我们增强了CiFar-10，使用50万微小的图像，使用了8000万微小的图像，并使用强大的自我训练来优于最先进的鲁棒精度（i）$ \ ell_ infty $鲁棒性通过对抗培训和（ii）认证$ \ ell_2 $和$ \ ell_ \ infty $鲁棒性通过随机平滑的几个强大的攻击。在SVHN上，添加DataSet自己的额外训练集，删除的标签提供了4到10个点的增益，在使用额外标签的1点之内。

The rise of multi-million-item dataset initiatives has enabled data-hungry machine learning algorithms to reach nearhuman semantic classification performance at tasks such as visual object and scene recognition. Here we describe the Places Database, a repository of 10 million scene photographs, labeled with scene semantic categories, comprising a large and diverse list of the types of environments encountered in the world. Using the state-of-the-art Convolutional Neural Networks (CNNs), we provide scene classification CNNs (Places-CNNs) as baselines, that significantly outperform the previous approaches. Visualization of the CNNs trained on Places shows that object detectors emerge as an intermediate representation of scene classification. With its high-coverage and high-diversity of exemplars, the Places Database along with the Places-CNNs offer a novel resource to guide future progress on scene recognition problems.

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

由于筛选乳房X线照片的假阴性评估，通常在晚期检测到与其他癌症更差的间隔和大型侵入性乳腺癌。错过的筛选时间检测通常由其周围乳腺组织模糊的肿瘤引起的，这是一种称为掩蔽的现象。为了研究和基准爆发癌症的乳房Xmmpare掩蔽，在这项工作中，我们引入CSAW-M，最大的公共乳房数据集，从10,000多个人收集并用潜在的掩蔽注释。与以前的方法对比测量乳房图像密度作为代理的方法，我们的数据集直接提供了五个专家屏蔽潜在评估的注释。我们还培训了CSAW-M的深入学习模型来估计掩蔽水平，并显示估计的掩蔽更加预测筛查患有间隔和大型侵入性癌症的参与者 - 而不是明确培训这些任务 - 而不是其乳房密度同行。

图像分类器通常在其测试设置精度上进行评分，但高精度可以屏蔽微妙类型的模型故障。我们发现高分卷积神经网络（CNNS）在流行的基准上表现出令人不安的病理，即使在没有语义突出特征的情况下，即使在没有语义突出特征的情况下也能够显示高精度。当模型提供没有突出的输入功能而无突出的频率决定时，我们说分类器已经过度解释了它的输入，找到了太多的课程 - 以对人类荒谬的模式。在这里，我们展示了在CiFar-10和Imagenet上培训的神经网络患有过度诠释，我们发现CIFAR-10上的模型即使在屏蔽95％的输入图像中，人类不能在剩余像素子集中辨别出突出的特征。我们介绍了批量梯度SIS，一种用于发现复杂数据集的足够输入子集的新方法，并使用此方法显示故事中的边界像素的充分性以进行培训和测试。虽然这些模式在现实世界部署中移植了潜在的模型脆弱性，但它们实际上是基准的有效统计模式，单独就足以实现高测试精度。与对手示例不同，过度解释依赖于未修改的图像像素。我们发现合奏和输入辍学可以帮助缓解过度诠释。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.