抽象推理是智能系统的关键能力。大型语言模型在抽象推理任务上实现了高度的性能，但表现出许多缺陷。但是，人类的抽象推理也是不完美的，并且取决于我们对推理问题内容的知识和信念。例如，人类对在日常情况下基于逻辑规则的逻辑规则比关于抽象属性的任意规则更可靠地理解。语言模型的培训经验类似地赋予了他们先前的期望，这些期望反映了人类的知识和信念。因此，我们假设语言模型会显示出类似人类的内容对抽象推理问题的影响。我们在三个逻辑推理任务中探讨了这一假设：自然语言推论，判断三段论的逻辑有效性和ison选择任务（Wason，1968）。我们发现，最新的大语言模型（具有7或700亿个参数； Hoffman等，2022）反映了这些任务中人类在人类中观察到的许多相同模式 - 像人类一样，模型对可信情况的理由更有效地理由不现实或抽象的。我们的发现对理解这些认知效应以及有助于语言模型表现的因素具有影响。

有效的沟通需要适应与每个交流伙伴共享的特质共同基础。我们研究了这个问题的特别具有挑战性的实例化：流行的游戏dixit。我们将一轮dixit作为多代理图像参考游戏，在其中（训练有素的）扬声器模型描述了目标图像，以使一个（预审计的）侦听器模型可以从一组干扰器中正确识别它，但另一个听众无法识别它。为了适应这种设置，演讲者必须利用与不同听众共享的共同点的差异。我们表明，在这种对比性的多代理设置中，在剪辑视觉编码器和大型语言模型之间进行基于注意力的适配器会产生与上下文相关的自然语言专业化，而无需直接监督。在一系列受控的实验中，我们表明说话者可以根据各对不同听众的特质优势和劣势来适应。此外，我们显示了说话者专业化对看不见的现实世界数据的零拍传输。我们的实验为复杂的多方设置中的自适应沟通提供了一步，并突出了Dixit等游戏带来的有趣的研究挑战。我们希望我们的工作能够激发创造性的新方法，以适应预处理的模型。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

正如人类和动物在自然世界中学习的那样，它们会遇到远非统一的实体，情况和事件的分布。通常，经常遇到相对较小的经历，而许多重要的体验很少发生。现实的高度紧密，重尾的本质构成了人类和动物通过不断发展的专业记忆系统所面临的特殊学习挑战。相比之下，大多数流行的RL环境和基准涉及属性，对象，情况或任务的大致变化。 RL算法将如何在环境特征分布的世界（如我们的）中表现出较不统一的分布？为了探讨这个问题，我们开发了三个互补的RL环境，在这些环境中，代理商的经验根据Zipfian（离散幂定律）分布而变化。在这些基准上，我们发现标准的深入RL体系结构和算法获得了对常见情况和任务的有用知识，但无法充分了解稀有的情况。为了更好地了解这一失败，我们探讨了如何调整当前方法的不同方面，以帮助提高罕见事件的性能，并表明RL目标功能，代理商的记忆系统和自我监督的学习目标都可以影响代理商的能力从罕见的体验中学习。这些结果共同表明，从偏斜的经验中进行强大的学习是应用模拟或实验室以外的深度RL方法的关键挑战，而我们的Zipfian环境为衡量未来的进步朝着这一目标提供了基础。

深度加强学习（深RL）最近在开发泛化算法中看到了显着进展。但是，大多数算法都是针对单一类型的泛化设置。在这项工作中，我们研究了三个不同任务结构的概括：（a）由定期发生的物体运动的空间和时间组成组成的任务; （b）由积极的感知和导航定期发生的3D对象组成的任务; （c）任务由记住目标信息，通过定期发生的对象配置的序列。这些不同的任务结构都分享了合作性的潜在思想：任务完成始终涉及结合任务导向的感知和行为的反复性段。我们假设代理可以在任务结构中概括，如果它可以发现捕获这些重复任务段的表示。对于我们的任务，这对应于识别单个对象动作的表示，用于向3D对象导航，并通过对象配置导航。从认知科学中获取灵感，我们为代理人经验的经常性细分而言，“感知模式”的阶段代表。我们提出了参加经常性模块（农场）的功能，该功能学习了一种状态表示，其中感知模式分布在多个相对较小的复发模块中。我们比较农场到经常性的架构，从而利用空间关注，这将观察特征减少到空间位置的加权平均值。我们的实验表明，我们的特征注意力机制更好地使农场能够通过我们学习的各种对象的域来推广。

解释在人类学习中发挥着相当大的作用，特别是在仍然在形成抽象的主要挑战，以及了解世界的关系和因果结构的地区。在这里，我们探索强化学习代理人是否同样可以从解释中受益。我们概述了一系列关系任务，涉及选择一个在一个集合中奇数一个的对象（即，沿许多可能的特征尺寸之一的唯一）。奇数一张任务要求代理在一组对象中的多维关系上推理。我们展示了代理商不会仅从奖励中学习这些任务，但是当它们也培训以生成语言解释对象属性或选择正确或不正确时，实现> 90％的性能。在进一步的实验中，我们展示了预测的解释如何使代理能够从模糊，因果困难的训练中适当地推广，甚至可以学习执行实验干预以识别因果结构。我们表明解释有助于克服代理人来解决简单特征的趋势，并探讨解释的哪些方面使它们成为最有益的。我们的结果表明，从解释中学习是一种强大的原则，可以为培训更强大和一般机器学习系统提供有希望的道路。

强化学习代理经常忘记过去的细节，特别是在延误或令人厌倦的任务之后。具有常见内存架构的代理努力召回和集成在过去事件的多个时间步行中，甚至会调用后跟分散的任务任务的单个时间戳的详细信息。为了解决这些限制，我们提出了一个分层块注意内存（HCAM），这有助于代理商详细记住过去。 HCAM通过将过去除以块来存储记忆，并通过首先在块的粗粗摘要上执行高级注意，然后在仅在最相关的块中进行详细关注。因此，具有HCAM的代理可以“精神上的时间旅行” - 记住过去的事件，并在不参加所有干预事件。我们展示了HCAM的代理基本上优于具有其他内存架构的代理，其任务需要长期回忆，保留或推理存储器。这些包括回顾一个对象隐藏在3D环境中的位置，迅速学习在新的邻域中有效地导航，以及快速学习和保留新的对象名称。具有HCAM的代理可以将其推断到任务序列，而不是培训的任务序列，甚至可以从元学习环境中概括为零射击，以维持跨情节的知识。 HCAM提高了代理样本效率，泛化和一般性（通过解决先前所需的专业架构的任务）。我们的工作是迈向可以学习，交互和适应复杂和时间扩展环境的代理的一步。

The recent increase in public and academic interest in preserving biodiversity has led to the growth of the field of conservation technology. This field involves designing and constructing tools that utilize technology to aid in the conservation of wildlife. In this article, we will use case studies to demonstrate the importance of designing conservation tools with human-wildlife interaction in mind and provide a framework for creating successful tools. These case studies include a range of complexities, from simple cat collars to machine learning and game theory methodologies. Our goal is to introduce and inform current and future researchers in the field of conservation technology and provide references for educating the next generation of conservation technologists. Conservation technology not only has the potential to benefit biodiversity but also has broader impacts on fields such as sustainability and environmental protection. By using innovative technologies to address conservation challenges, we can find more effective and efficient solutions to protect and preserve our planet's resources.

A Digital Twin (DT) is a simulation of a physical system that provides information to make decisions that add economic, social or commercial value. The behaviour of a physical system changes over time, a DT must therefore be continually updated with data from the physical systems to reflect its changing behaviour. For resource-constrained systems, updating a DT is non-trivial because of challenges such as on-board learning and the off-board data transfer. This paper presents a framework for updating data-driven DTs of resource-constrained systems geared towards system health monitoring. The proposed solution consists of: (1) an on-board system running a light-weight DT allowing the prioritisation and parsimonious transfer of data generated by the physical system; and (2) off-board robust updating of the DT and detection of anomalous behaviours. Two case studies are considered using a production gas turbine engine system to demonstrate the digital representation accuracy for real-world, time-varying physical systems.

We introduce Argoverse 2 (AV2) - a collection of three datasets for perception and forecasting research in the self-driving domain. The annotated Sensor Dataset contains 1,000 sequences of multimodal data, encompassing high-resolution imagery from seven ring cameras, and two stereo cameras in addition to lidar point clouds, and 6-DOF map-aligned pose. Sequences contain 3D cuboid annotations for 26 object categories, all of which are sufficiently-sampled to support training and evaluation of 3D perception models. The Lidar Dataset contains 20,000 sequences of unlabeled lidar point clouds and map-aligned pose. This dataset is the largest ever collection of lidar sensor data and supports self-supervised learning and the emerging task of point cloud forecasting. Finally, the Motion Forecasting Dataset contains 250,000 scenarios mined for interesting and challenging interactions between the autonomous vehicle and other actors in each local scene. Models are tasked with the prediction of future motion for "scored actors" in each scenario and are provided with track histories that capture object location, heading, velocity, and category. In all three datasets, each scenario contains its own HD Map with 3D lane and crosswalk geometry - sourced from data captured in six distinct cities. We believe these datasets will support new and existing machine learning research problems in ways that existing datasets do not. All datasets are released under the CC BY-NC-SA 4.0 license.