我们考虑一类视觉模拟推理问题，涉及发现输入/输出图像对相关的转换序列，以类似地改变未来输入。该程序综合任务可以通过符号搜索轻松解决。使用（Velickovic和Blundell 2021）的“神经模拟推理”方法的变化，Edw，例如，搜索一系列基本神经网络变换，其操纵从符号空间导出的分布式表示，输入图像直接编码。我们评估了我们的“神经原理”方法对具有看不见形状和位置的图像的程度。

类比推理问题挑战了连接主义者和符号AI系统，因为这些系统需要将背景知识，推理和模式识别的结合。符号系统摄入显式域知识并执行演绎推理，但它们对噪声敏感，并且需要输入以预设符号特征。另一方面，Connectionist系统可以直接摄入丰富的输入空间，例如图像，文本或语音，即使使用嘈杂的输入也可以识别模式。但是，Connectionist模型努力将明确的领域知识用于演绎推理。在本文中，我们提出了一个框架，将神经网络的模式识别能力与象征性推理和背景知识结合在一起，以解决一类类似推理问题，其中一组属性和可能的​​关系是已知的。我们从“神经算法推理”方法[DeepMind 2020]中汲取灵感，并通过（i）基于问题的象征模型学习分布式表示（ii）培训神经网络转化反映了关系的分布式表示形式。参与问题，最后（iii）培训神经网络编码器，从图像到（i）中的分布式表示。这三个要素使我们能够使用神经网络作为操纵分布式表示的基本功能执行基于搜索的推理。我们在乌鸦渐进式矩阵中的视觉类比问题上进行了测试，并在人类绩效中实现准确性竞争，在某些情况下，优于初始端到端神经网络方法的方法。尽管最近接受大规模训练的神经模型产生了SOTA，但我们的新型神经符号推理方法是该问题的有希望的方向，可以说是更笼统的，尤其是对于可用的域知识的问题。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

将生成2D和3D形状的推断程序对于逆向工程，编辑等来重要。执行此任务的培训模型是复杂的，因为许多域不容易获得配对（形状，程序）数据，使精确的监督学习不可行。但是，可以通过损害分配的程序标签或形状分布的精度来获得配对数据。唤醒睡眠方法使用形状程序的生成模型中的样品来近似真实形状的分布。在自我训练中，形状通过识别模型，该模型预测被视为这些形状的伪标签的程序。与这些方法有关，我们介绍了一种新的自我训练变体，可以进行编程推断，其中程序伪标签与其执行的输出形状配对，避免了以近似形状分布的成本的标签不匹配。我们建议在单一的概念框架下对这些制度进行分组，其中培训是以伪标签或近似分布（PLAD）提供的最大似然更新。我们在多个2D和3D形状程序推理域中评估这些技术。与政策梯度加固学习相比，我们展示了Plad技术推断更准确的形状程序并更快地收敛。最后，我们建议将不同PLAD方法的更新结合在一个模型的训练中，并发现这种方法优于任何单独的技术。

程序合成的目标是从示例中找到一个与给定的输入输出示例一致的计算机程序。基于大多数基于学习的方法都尝试找到一个满足所有示例的程序一次。相比之下，我们的工作考虑了一个将问题分为两个阶段的方法：（a）查找只满足一个示例的程序，（b）利用这些每个示例解决方案来产生满足所有示例的程序。我们基于多主题注意机制介绍跨聚合器神经网络模块，该机制学会组合在这些每个示例解决方案中存在的提示来合成全局解决方案。在不同长度和两个不同的实验设置下的评估显示，当鉴于同时预算时，我们的技术显着提高了PCODER的成功率[Zohar等。 AL 2018]和其他消融基线。我们工作的代码，数据和经过培训的模型可以在https://github.com/shrivastavadisha/n-peps找到。

为了将归纳推理与感知能力相结合，我们开发了神经符号程序合成的技术，其中首先将神经网络的感知输入解析为低维的可解释表示，然后由合成程序处理。我们探索了一些放松问题的技术，并共同学习所有端到端的模块，梯度下降：多任务学习；摊销推理；过度参数化；以及惩罚冗长计划的可区分策略。收集到该工具箱可提高梯度指导程序搜索的稳定性，并提出学习如何将输入视为离散抽象的方法，以及如何象征性地处理这些抽象作为程序。

3D shapes have complementary abstractions from low-level geometry to part-based hierarchies to languages, which convey different levels of information. This paper presents a unified framework to translate between pairs of shape abstractions: $\textit{Text}$ $\Longleftrightarrow$ $\textit{Point Cloud}$ $\Longleftrightarrow$ $\textit{Program}$. We propose $\textbf{Neural Shape Compiler}$ to model the abstraction transformation as a conditional generation process. It converts 3D shapes of three abstract types into unified discrete shape code, transforms each shape code into code of other abstract types through the proposed $\textit{ShapeCode Transformer}$, and decodes them to output the target shape abstraction. Point Cloud code is obtained in a class-agnostic way by the proposed $\textit{Point}$VQVAE. On Text2Shape, ShapeGlot, ABO, Genre, and Program Synthetic datasets, Neural Shape Compiler shows strengths in $\textit{Text}$ $\Longrightarrow$ $\textit{Point Cloud}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Text}$, $\textit{Point Cloud}$ $\Longrightarrow$ $\textit{Program}$, and Point Cloud Completion tasks. Additionally, Neural Shape Compiler benefits from jointly training on all heterogeneous data and tasks.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

输入 - 输出（IO）示例的程序综合是一项长期挑战。虽然最近的作品在特定于域的语言（DSL）上表现出有限的成功，但将它们应用于现实世界的编程语言，例如C.由于复杂的语法和令牌变化，有三种主要挑战：（1）与许多DSL不同，像C如语言的程序需要首先编译，并且不会通过解释器执行; （2）程序搜索空间在编程语言的语法和语义变得更加复杂时呈指数增长; （3）收集实际计划的大规模数据集是非微不足道的。作为解决这些挑战的第一步，我们提出了Lasynth，并在限制-C域中表现出其疗效。更具体地，Lasynth学习潜在的表示，以近似于执行部分生成的程序的执行，即使它们在语法中不完整（寻址（1））。学习的执行显着提高了对现有方法的下一个令牌预测的性能，便于搜索（寻址（2））。最后，一旦接受了随机生成的地面真理计划和IO对，Lasynth可以合成更多简明的程序，类似于人为人写的代码。此外，使用这些合成程序再培训我们的模型，对于Karel和C程序合成的样本较少，表明利用学习程序合成器的承诺来提高输入 - 输出程序合成的数据集质量（寻址（3））。在评估程序执行输出是否与IO对匹配时，Lasynth达到55.2％的精度，即用数十个代币生成简单的C代码，包括环和分支，优先表现出没有执行者的现有方法约20％。

In the past few years, neural architecture search (NAS) has become an increasingly important tool within the deep learning community. Despite the many recent successes of NAS, however, most existing approaches operate within highly structured design spaces, and hence explore only a small fraction of the full search space of neural architectures while also requiring significant manual effort from domain experts. In this work, we develop techniques that enable efficient NAS in a significantly larger design space. To accomplish this, we propose to perform NAS in an abstract search space of program properties. Our key insights are as follows: (1) the abstract search space is significantly smaller than the original search space, and (2) architectures with similar program properties also have similar performance; thus, we can search more efficiently in the abstract search space. To enable this approach, we also propose a novel efficient synthesis procedure, which accepts a set of promising program properties, and returns a satisfying neural architecture. We implement our approach, $\alpha$NAS, within an evolutionary framework, where the mutations are guided by the program properties. Starting with a ResNet-34 model, $\alpha$NAS produces a model with slightly improved accuracy on CIFAR-10 but 96% fewer parameters. On ImageNet, $\alpha$NAS is able to improve over Vision Transformer (30% fewer FLOPS and parameters), ResNet-50 (23% fewer FLOPS, 14% fewer parameters), and EfficientNet (7% fewer FLOPS and parameters) without any degradation in accuracy.

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

抽象和推理语料库（ARC）是一组用于测试代理人灵活解决新颖问题的能力的程序任务。虽然大多数弧任务对于人类来说很容易，但它们对最先进的AI有挑战性。是什么让建筑物智能系统概括到新颖的情况，例如arc困难？我们可以通过研究\ emph {语言}的差异来找到答案：虽然人类在容易地生成和解释了一般语言中，计算机系统被束缚到他们可以精确执行的狭窄域的语言。我们呈现LARC，The \ Texit {语言完整的ARC}：一组人类参与者的一系列自然语言描述，这些人参与者在如何使用单独的语言解决acc任务，其中包含88 \％的成功说明弧任务。我们将收集的指示分析为“自然程序”，发现当他们类似于计算机程序时，它们以两种方式截然不同：首先，它们含有各种基元;其次，他们经常利用直接可执行代码超出交际策略。我们证明这两个区别防止了当前的程序合成技术利用LACC到其全部潜力，并提供有关如何构建下一代程序合成器的具体建议。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

最近，深增强学习（DRL）方法在各种域中的任务方面取得了令人印象深刻的性能。然而，用DRL方法产生的神经网络政策不是人为可解释的，并且通常难以推广到新颖的情景。为了解决这些问题，事先作品探索学习更具可诠释和构建的概括的程序政策。然而，这些作品要么采用有限的政策表示（例如，决策树，状态机或预定义的程序模板）或需要更强的监督（例如输入/输出状态对或专家演示）。我们提出了一个框架，而是学习合成一个程序，该程序详细介绍了以灵活和表现力的方式解决任务的过程，仅来自奖励信号。为了减轻学习难以从头开始诱发所需的代理行为的难度，我们建议首先了解一个程序嵌入空间，以不传达的方式连续参加各种行为，然后搜索嵌入空间以产生程序最大化给定任务的返回。实验结果表明，所提出的框架不仅可以可靠地综合任务解决方案，而且在产生可解释和更广泛的政策的同时优于DRL和程序合成基线。我们还可以证明所提出的两级学习计划的必要性，并分析了学习计划嵌入的各种方法。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

嵌入大而冗余的数据，例如图像或文本，在较低维空间的层次结构中是表示方法的关键特征之一，如今，这些特征是一旦相信困难或不可能的问题，这些方法就可以为问题提供最新的解决方案解决。在这项工作中，在具有强大元回味的情节扭转中，我们展示了受过训练的深层模型与它们优化的数据一样多余，因此如何使用深度学习模型来嵌入深度学习模型。特别是，我们表明可以使用表示形式学习来学习经过训练的深层模型的固定大小，低维的嵌入空间，并且可以通过插值或优化来探索此类空间，以实现现成的模型。我们发现，可以学习相同体系结构和多个体系结构的多个实例的嵌入空间。我们解决了信号的图像分类和神经表示，表明如何学习我们的嵌入空间，以分别捕获性能和3D形状的概念。在多架结构的环境中，我们还展示了仅在架构子集中训练的嵌入方式如何才能学会生成已经训练的架构实例，从未在培训时看到实例化。

模棱两可的神经网络，其隐藏的特征根据G组作用于数据的表示，表现出训练效率和提高的概括性能。在这项工作中，我们将群体不变和模棱两可的表示学习扩展到无监督的深度学习领域。我们根据编码器框架提出了一种通用学习策略，其中潜在表示以不变的术语和模棱两可的组动作组件分开。关键的想法是，网络学会通过学习预测适当的小组操作来对齐输入和输出姿势以解决重建任务的适当组动作来编码和从组不变表示形式进行编码和解码数据。我们在Equivariant编码器上得出必要的条件，并提出了对任何G（离散且连续的）有效的构造。我们明确描述了我们的旋转，翻译和排列的构造。我们在采用不同网络体系结构的各种数据类型的各种实验中测试了方法的有效性和鲁棒性。

人类具有以零拍的方式识别和获取新颖的视觉概念的非凡能力。考虑到以前学到的视觉概念及其关系的高级，象征性的描述，人类可以识别新颖的概念而不看到任何例子。此外，他们可以通过学习视觉概念和关系来解析和传达符号结构来获取新概念。赋予机器中的这些功能在提高推理时提高其概括能力方面至关重要。在这项工作中，我们介绍了零拍的概念识别和获取（ZEROC），这是一种神经符号结构，可以以零拍的方式识别和获取新颖的概念。 ZEROC代表概念作为组成概念模型的图（作为节点）及其关系（作为边缘）。为了允许推理时间组成，我们采用基于能量的模型（EBM）来建模概念和关系。我们设计ZEROC架构，以便它允许在概念的符号图结构及其相应的EBM之间进行一对一的映射，该图是第一次允许获取新概念，传达其图形结构并将其应用于分类和分类和在推理时检测任务（甚至跨域）。我们介绍了用于学习和推断ZEROC的算法。我们在一个充满挑战的网格世界数据集上评估了零，该数据集旨在探测零拍的概念识别和获取，并展示其功能。

给定日常工件，例如桌子和椅子，人类识别其中的高级规律性，例如桌子的对称性，腿的重复，同时拥有低级的几何学，例如，表面是平稳的，边缘是光滑的，边缘是光滑的。锋利。这种知识构成了人类感知理解和推理的重要组成部分。在这种知识中的表现以及如何推理，以及其获取的习得仍然是人工智能（AI）和认知科学中的开放问题。基于\ emph {3D形状程序}的先前建议，单独使用\ citet {tian2019llear}的随附的神经发电机和执行者，我们提出了一个分析性但可不同的执行者，在解释形状程序中更忠实，可以控制外推）和更有效的样本效率（不需要培训）。当无法获得地面真理程序时，这些促进了发电机的学习，当人类设计师或 - 在图书馆学习的背景下，当新的形状编程组件被录入时，应该特别有用。关于使用它进行适应的初步实验说明了所提出的模块的上述优势，鼓励在建筑机器中探索类似的方法，这些方法学会通过上述知识来推理推理，甚至学习这些知识本身。

We present a framework for the unsupervised learning of neurosymbolic encoders, which are encoders obtained by composing neural networks with symbolic programs from a domain-specific language. Our framework naturally incorporates symbolic expert knowledge into the learning process, which leads to more interpretable and factorized latent representations compared to fully neural encoders. We integrate modern program synthesis techniques with the variational autoencoding (VAE) framework, in order to learn a neurosymbolic encoder in conjunction with a standard decoder. The programmatic descriptions from our encoders can benefit many analysis workflows, such as in behavior modeling where interpreting agent actions and movements is important. We evaluate our method on learning latent representations for real-world trajectory data from animal biology and sports analytics. We show that our approach offers significantly better separation of meaningful categories than standard VAEs and leads to practical gains on downstream analysis tasks, such as for behavior classification.