Large language models (LLMs) have shown impressive results across a variety of tasks while requiring little or no direct supervision. Further, there is mounting evidence that LLMs may have potential in information-seeking scenarios. We believe the ability of an LLM to attribute the text that it generates is likely to be crucial for both system developers and users in this setting. We propose and study Attributed QA as a key first step in the development of attributed LLMs. We develop a reproducable evaluation framework for the task, using human annotations as a gold standard and a correlated automatic metric that we show is suitable for development settings. We describe and benchmark a broad set of architectures for the task. Our contributions give some concrete answers to two key questions (How to measure attribution?, and How well do current state-of-the-art methods perform on attribution?), and give some hints as to how to address a third key question (How to build LLMs with attribution?).
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是，当前的度量使用通常是不明智的，并且不能反映基本的域名。在这里，我们提出了一个全面的框架，该框架指导研究人员以问题意识的方式选择绩效指标。具体而言，我们专注于生物医学图像分析问题，这些问题可以解释为图像，对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ，数据集和算法与输出问题相关的属性的属性与问题指纹相关，同时还将其映射到适当的问题类别，即图像级分类，语义分段，实例，实例细分或对象检测。然后，它指导用户选择和应用一组适当的验证指标的过程，同时使他们意识到与个人选择相关的潜在陷阱。在本文中，我们描述了指标重新加载推荐框架的当前状态，目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的，将在社区驱动的优化之后公开作为用户友好的工具包提供。
translated by 谷歌翻译
2022-05-31
我们提出了一个新的视觉数据表示形式，该数据将对象位置从外观上删除。我们的方法称为深潜粒子（DLP），将视觉输入分解为低维的潜在``粒子''，其中每个粒子都用其周围区域的空间位置和特征来描述。为了学习这种表示形式，我们遵循一种基于VAE的方法，并根据空间 - 软构建结构引入了粒子位置的先验位置，并修改了受粒子之间倒角距离启发的证据下限损失。我们证明，我们的DLP表示形式可用于下游任务，例如无监督关键点（KP）检测，图像操纵和针对由多个动态对象组成的场景的视频预测。此外，我们表明，我们对问题的概率解释自然提供了粒子位置的不确定性估计，可用于模型选择以及其他任务。可用视频和代码：https：//taldatech.github.io/deep-latent-particles-web/
translated by 谷歌翻译
深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译
场景理解是一个活跃的研究区域。商业深度传感器（如Kinect）在过去几年中启用了几个RGB-D数据集的发布，它在3D场景理解中产生了新的方法。最近，在Apple的iPad和iPhone中推出LIDAR传感器，可以在他们通常使用的设备上访问高质量的RGB-D数据。这在对计算机视觉社区以及应用程序开发人员来说，这是一个全新的时代。现场理解的基本研究与机器学习的进步一起可以影响人们的日常经历。然而，将这些现场改变为现实世界经验的理解方法需要额外的创新和发展。在本文中，我们介绍了Arkitscenes。它不仅是具有现在广泛可用深度传感器的第一个RGB-D数据集，而且是我们最好的知识，它也是了解数据发布的最大的室内场景。除了来自移动设备的原始和处理的数据之外，Arkitscenes还包括使用固定激光扫描仪捕获的高分辨率深度图，以及手动标记为家具的大型分类的3D定向边界盒。我们进一步分析了两个下游任务数据的有用性：3D对象检测和色彩引导深度上采样。我们展示了我们的数据集可以帮助推动现有最先进的方法的边界，并引入了更好代表真实情景的新挑战。
translated by 谷歌翻译
可分辨率的编程技术在社区中广泛应用，负责过去几十年的机器学习文艺复兴。虽然这些方法是强大的，但它们有限制。在本简短的报告中，我们讨论了一种基于混乱的失效模式，这些失效模式出现在各种可分子的情况下，从经常性神经网络和数值物理模拟到培训学习优化器。我们追溯到正在研究的系统的雅各比亚的频谱，并为从业者可能预期这种未能破坏基于分化的优化算法的标准提供标准。
translated by 谷歌翻译
尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。
translated by 谷歌翻译
在异常检测（AD）中，给出了识别测试样本是否异常，给出了正常样本的数据集。近期和有希望的广告方法依赖于深度生成模型，例如变形自动化器（VAES），用于对正常数据分布的无监督学习。在半监督广告（SSAD）中，数据还包括标记异常的小样本。在这项工作中，我们提出了两个用于SSAD培训VAES的两个变分方法。两种方法中的直观思路是将编码器训练到潜在向量之间的“分开”以进行正常和异常数据。我们表明，这个想法可以源于问题的原则概率制剂，并提出了简单有效的算法。我们的方法可以应用于各种数据类型，因为我们在从自然图像到天文学和医学的SSAD数据集上展示，可以与任何VAE模型架构相结合，并且自然与合奏相兼容。与未特定于特定数据类型的最先进的SSAD方法比较时，我们获得了异常值检测的显着改进。
translated by 谷歌翻译
The performance of inertial navigation systems is largely dependent on the stable flow of external measurements and information to guarantee continuous filter updates and bind the inertial solution drift. Platforms in different operational environments may be prevented at some point from receiving external measurements, thus exposing their navigation solution to drift. Over the years, a wide variety of works have been proposed to overcome this shortcoming, by exploiting knowledge of the system current conditions and turning it into an applicable source of information to update the navigation filter. This paper aims to provide an extensive survey of information aided navigation, broadly classified into direct, indirect, and model aiding. Each approach is described by the notable works that implemented its concept, use cases, relevant state updates, and their corresponding measurement models. By matching the appropriate constraint to a given scenario, one will be able to improve the navigation solution accuracy, compensate for the lost information, and uncover certain internal states, that would otherwise remain unobservable.
translated by 谷歌翻译