如果神经网络更大，即使所产生的模型过度参数化，神经网络也倾向于通过训练获得更好的准确性。然而，在训练之前，期间或之后，仔细删除此类多余参数也可能会产生具有相似精度甚至提高的模型。在许多情况下，可以通过启发式方法奇怪地实现，就像去除具有最小绝对价值的权重一样 - 即使幅度并不是重量相关性的完美代理。以这样的前提是，从修剪中获得更好的性能取决于删除多个权重的综合效果的考虑，我们重新审视了基于影响的基于撞击的经典方法之一：最佳脑外科医生（obs）。我们提出了一种可拖动的启发式方法，用于求解OBS的组合扩展，其中我们选择了同时删除的权重，以及剩余权重的系统更新。我们的选择方法在高稀疏性下的其他方法优于其他方法，即使与其他方法结合使用，重量更新也是有利的。

单图像姿势估计是许多视觉和机器人任务中的一个基本问题，并且现有的深度学习方法不会完全建模和处理来遭受：i）关于预测的不确定性，ii）具有多个（有时是无限）正确姿势的对称对象。为此，我们引入了一种在SO（3）上估算任意非参数分布的方法。我们的关键思想是通过神经网络隐含地表示分布，该神经网络估计给定输入图像和候选姿势的概率。网格采样或梯度上升可用于找到最有可能的姿势，但也可以评估任何姿势的概率，从而实现关于对称性和不确定性的推理。这是代表流形分布的最通用方法，为了展示丰富的表现力，我们介绍了一个具有挑战性的对称和几乎对称对象的数据集。我们不需要对姿势不确定性的监督 - 模型仅以一个示例训练单个姿势。但是，我们的隐式模型具有高度表达能力在3D姿势上处理复杂的分布，同时仍然在标准的非歧义环境上获得准确的姿势估计，从而在Pascal3d+和ModelNet10-SO-SO（3）基准方面实现了最先进的性能。

代表性学习形成最深入的学习应用的骨干，并且学习表示的值与其关于不同变异因素的信息内容密切相关。找到良好的表现取决于监督和学习算法的性质。我们提出了一种新颖的算法，该算法利用弱形的监督形式，其中数据根据各种变体的某些无效（常见）因子来划分到集合中，这些因素在每个集合的元素中不变。我们的主要识别是，通过寻求不同集合之间的对应，我们学习强烈的表示，排除了变异的非活动因素，并隔离了所有集合中变化的活动（不同）因素。由于重点关注有源因素，我们的方法可以利用设定监督和全文无监督数据的混合，甚至可以属于不同的域。我们通过将概括到类别水平和综合/真实域间隙的图像姿势信息隔离，解决综合对象姿势转移的具有挑战性问题，即使没有对任何内容的姿势注释也没有姿势注释。通过加强中间表示，该方法还可以提高监督设置的性能。

Context is vital for commonsense moral reasoning. "Lying to a friend" is wrong if it is meant to deceive them, but may be morally okay if it is intended to protect them. Such nuanced but salient contextual information can potentially flip the moral judgment of an action. Thus, we present ClarifyDelphi, an interactive system that elicits missing contexts of a moral situation by generating clarification questions such as "Why did you lie to your friend?". Our approach is inspired by the observation that questions whose potential answers lead to diverging moral judgments are the most informative. We learn to generate questions using Reinforcement Learning, by maximizing the divergence between moral judgements of hypothetical answers to a question. Human evaluation shows that our system generates more relevant, informative and defeasible questions compared to other question generation baselines. ClarifyDelphi assists informed moral reasoning processes by seeking additional morally consequential context to disambiguate social and moral situations.

Models trained via empirical risk minimization (ERM) are known to rely on spurious correlations between labels and task-independent input features, resulting in poor generalization to distributional shifts. Group distributionally robust optimization (G-DRO) can alleviate this problem by minimizing the worst-case loss over a set of pre-defined groups over training data. G-DRO successfully improves performance of the worst-group, where the correlation does not hold. However, G-DRO assumes that the spurious correlations and associated worst groups are known in advance, making it challenging to apply it to new tasks with potentially multiple unknown spurious correlations. We propose AGRO -- Adversarial Group discovery for Distributionally Robust Optimization -- an end-to-end approach that jointly identifies error-prone groups and improves accuracy on them. AGRO equips G-DRO with an adversarial slicing model to find a group assignment for training examples which maximizes worst-case loss over the discovered groups. On the WILDS benchmark, AGRO results in 8% higher model performance on average on known worst-groups, compared to prior group discovery approaches used with G-DRO. AGRO also improves out-of-distribution performance on SST2, QQP, and MS-COCO -- datasets where potential spurious correlations are as yet uncharacterized. Human evaluation of ARGO groups shows that they contain well-defined, yet previously unstudied spurious correlations that lead to model errors.

在有问题的回答需要常识的问题上，语言模型（例如，GPT-3）已用于生成表达有助于提高性能的背景知识的文本。然而，使用此类模型的成本很高。在这项工作中，我们对较小的语言模型产生有用的中间上下文，此处称为阐述。我们的框架在更新两个语言模型之间交替使用 - 阐述生成器和一个答案预测变量 - 允许每个语言都影响彼此。我们的模型使用少于GPT-3的参数的0.5％优于具有相似尺寸的替代方案，并在四个常识性问题上回答基准测试的GPT-3上的差距缩小。人类评估表明，生成的阐述的质量很高。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

深度学习表明，最近在胸部X射线中对异常进行分类方面的成功，但是与自然图像数据集相比，数据集仍然很小。对异常本地化的监督已被证明可以改善训练有素的模型，部分补偿了数据集大小。但是，明确标记这些异常需要专家，并且非常耗时。我们提出了一种潜在的可扩展方法，用于使用眼动物跟踪器收集隐式定位数据，以捕获注视位置和麦克风来捕获报告的概念，从而模仿阅读室的设置。由五位放射科医生标记了所得的反射式（报告和眼睛跟踪数据，用于胸部X射线异常的定位）数据集，并包含3,032个同步的眼球跟踪数据集和时间戳报告的同步集，并从模拟的报告中进行了2,616胸部X射线的转录。 CXR数据集。我们还提供辅助注释，包括围绕肺和心脏的边界框以及由椭圆形成的椭圆形成异常和图像级标签的验证标签。此外，数据的一小部分包含所有放射科医生的读数，从而可以计算评估者分数。

本文档提供了SNACS的详细语言描述（Adposition和Case Supersenses的语义网络； Schneider等，2018），这是52个语义标签（“ Supersenses”）的库存，这些标签（“ Supersenses”）表征了在某种程度上使用ADIP定位和案例标记的使用。粒度水平，如Streusle语料库中所示（https://github.com/nert-nlp/streusle/;版本4.5 track track track offelines guidelines guidelines版本2.6）。尽管SNACS的库存渴望成为普遍的，但该文档是特定于英语的。其他语言的文档将单独发布。版本2是Schneider等人对英语提出的超音库存的修订。 （2015，2016）（此后为“ V1”），这又基于以前的计划。本清单是在对英语的V1语料库注释进行广泛审查后开发的，以及以前未分析的属格案例所有人（Blodgett和Schneider，2018年），并考虑了希伯来语，印地语，韩国和德国的定义和案例现象的考虑。 Hwang等。 （2017）介绍了V2方案的理论基础。 Schneider等。 （2018）总结了该方案，其应用于英语语料库数据以及自动歧义任务。刘等。 （2021）提供了一个英语词法语义识别标签仪，其中包括SNACS标签的输出。该文档也可以与Xposition网站上的语料库数据一起浏览（Gessler等，2022）：http：//www.xposition.org/