探索开发权衡是在从机器学习，生物学到经济学的田地中的自适应行为描述的核心。虽然已经采取了许多方法，但解决了这笔权衡的一种方法已经装备或建议代理商拥有内在的“探索性驱动”，其经常在最大化关于世界的代理信息增益方面实施 - 一种方法 - 这一方法已广泛研究机器学习和认知科学。在本文中，我们在数学上调查这种方法的性质和意义，并证明了这种效用最大化和信息寻求行为的组合产生了我们称之为偏见目标的完全差异目标的最小化。我们提出了在\ EMPH {证据}目标之间的自适应行为潜在的目标职能的二分法，这与文献中的知名奖励或效用最大化目标最大化，而不是寻求最小化差异的目标代理人的预期和期望的期货，并争辩说，这一新的分歧目标可以为对自适应和智能行动的探索性成分进行更加丰富的理解，以超越简单的贪婪效用最大化。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

预测性编码提供了对皮质功能的潜在统一说明 - 假设大脑的核心功能是最小化有关世界生成模型的预测错误。该理论与贝叶斯大脑框架密切相关，在过去的二十年中，在理论和认知神经科学领域都产生了重大影响。基于经验测试的预测编码的改进和扩展的理论和数学模型，以及评估其在大脑中实施的潜在生物学合理性以及该理论所做的具体神经生理学和心理学预测。尽管存在这种持久的知名度，但仍未对预测编码理论，尤其是该领域的最新发展进行全面回顾。在这里，我们提供了核心数学结构和预测编码的逻辑的全面综述，从而补充了文献中最新的教程。我们还回顾了该框架中的各种经典和最新工作，从可以实施预测性编码的神经生物学现实的微电路到预测性编码和广泛使用的错误算法的重新传播之间的紧密关系，以及对近距离的调查。预测性编码和现代机器学习技术之间的关系。

积极推断是复杂系统中的认知和行为的叙述，它在贝叶斯推论的理论地幔下举起动作，感知和学习。积极的推论已经看到学术研究中的应用越来越多，特别是在寻求模拟人类或动物行为的领域。虽然近年来，来自有效推理文献产生的一些代码已经用Python和Julia这样的开源语言编写，迄今为止，用于模拟活动推理代理的最流行的软件是SPM，Matlab库的DEM工具箱最初开发用于神经影像数据的统计分析和建模。因此，在纯粹的数字和科学学科的应用程序方面，表现出对积极推断的兴趣，因此为在开源科学计算语言中模拟了激活推论的通用，广泛可用的和用户友好的代码，这一切都表现为纯粹的数字以及跨科学学科的应用程序。像python。我们在这里呈现的Python包，Pymdp（参见https://github.com/fifer-active/pymdp）表示朝这个方向的重要一步：即，我们提供了用于模拟有源推断的第一个开源包，部分 - 可观察的马尔可夫决策过程或POMDPS。我们查看包的结构，并解释了模块化设计和定制等优点，同时提供沿着文本代码块，以便演示如何使用它以轻松地构建和运行主动推断过程。我们开发了PyMDP，以增加有效推理框架的可访问性和暴露于有多种纪律背景的研究人员，工程师和开发人员。本着开源软件的精神，我们也希望它在不断增长的积极推理界中产生新的创新，发展和合作。

自由能原理及其必然的积极推论构成了一种生物启发的理论，该理论假设生物学作用保留在一个受限制的世界首选状态中，即它们最小化自由能。根据这一原则，生物学家学习了世界的生成模型和未来的计划行动，该模型将使代理保持稳态状态，以满足其偏好。该框架使自己在计算机中实现，因为它理解了使其计算负担得起的重要方面，例如变异推断和摊销计划。在这项工作中，我们研究了深度学习的工具，以设计和实现基于主动推断的人造代理，对自由能原理进行深入学习的呈现，调查工作与机器学习和主动推理领域相关，以及讨论实施过程中涉及的设计选择。该手稿探究了积极推理框架的新观点，将其理论方面扎根于更务实的事务中，为活跃推理的新手提供了实用指南，并为深度学习从业人员的起点提供了研究，以调查自由能源原则的实施。

积极推论是一种统一的感知和行动理论，依赖于通过最小化自由能量来维持世界的内部模型。从行为的角度来看，有效推论代理商可以被视为自我证明的生命，以满足他们的乐观预测，即优选的结果或目标。相比之下，加固学习需要人工设计的奖励来完成任何期望的结果。尽管有效推理可以提供更自然的自我监控目标的控制，但其适用性因其在复杂环境中缩放方法的缺点而受到限制。在这项工作中，我们提出了对比主动推断的对比目标，这强烈降低了学习代理商的生成模式和规划未来行动的计算负担。我们的方法在基于图像的任务中的基于似的主动推断的情况下表现出显着优于基于似的主动推断，同时也是计算地更便宜，更容易训练。我们与能够获得人类设计奖励功能的加强学习代理，表明我们的方法与其表现完全符合。最后，我们还表明，在环境中的牵引力的情况下，对比方法显着更好地表现出明显更好，并且我们的方法能够将目标概括为背景中的变化。

主动推断是建模生物学和人造药物的行为的概率框架，该框架源于最小化自由能的原理。近年来，该框架已成功地应用于各种情况下，其目标是最大程度地提高奖励，提供可比性，有时甚至是卓越的性能与替代方法。在本文中，我们通过演示如何以及何时进行主动推理代理执行最佳奖励的动作来阐明奖励最大化和主动推断之间的联系。确切地说，我们展示了主动推理为Bellman方程提供最佳解决方案的条件 - 这种公式是基于模型的增强学习和控制的几种方法。在部分观察到的马尔可夫决策过程中，标准的主动推理方案可以为计划视野1的最佳动作产生最佳动作，但不能超越。相比之下，最近开发的递归活跃推理方案（复杂的推理）可以在任何有限的颞范围内产生最佳作用。我们通过讨论主动推理和强化学习之间更广泛的关系来补充分析。

有效计划的能力对于生物体和人造系统都是至关重要的。在认知神经科学和人工智能（AI）中广泛研究了基于模型的计划和假期，但是从不同的角度来看，以及难以调和的考虑（生物现实主义与可伸缩性）的不同意见（生物现实主义与可伸缩性）。在这里，我们介绍了一种新颖的方法来计划大型POMDP（Active Tree search（ACT）），该方法结合了神经科学中领先的计划理论的规范性特征和生物学现实主义（主动推论）和树木搜索方法的可扩展性AI。这种统一对两种方法都是有益的。一方面，使用树搜索可以使生物学接地的第一原理，主动推断的方法可应用于大规模问题。另一方面，主动推理为探索 - 开发困境提供了一种原则性的解决方案，该解决方案通常在树搜索方法中以启发性解决。我们的模拟表明，ACT成功地浏览了对基于抽样的方法，需要自适应探索的问题以及大型POMDP问题“ RockSample”的二进制树，其中ACT近似于最新的POMDP解决方案。此外，我们说明了如何使用ACT来模拟人类和其他解决大型计划问题的人类和其他动物的神经生理反应（例如，在海马和前额叶皮层）。这些数值分析表明，主动树搜索是神经科学和AI计划理论的原则性实现，既具有生物现实主义和可扩展性。

变异推理（VI）是一种特定类型的近似贝叶斯推断，它近似于棘手的后验分布，具有可拖动的分布。 VI将推论问题施加为优化问题，更具体地说，目标是最大程度地相对于近似后验参数，最大程度地提高边缘可能性的对数的下限。另一方面，强化学习（RL）涉及自主代理，以及如何使其最佳行动，例如最大程度地提高预期未来累积奖励的概念。在代理行动对未来环境状态没有影响的非顺序环境中，RL被上下文的土匪和贝叶斯优化涵盖。然而，在适当的顺序场景中，代理商的行为影响未来的州，即时需要对潜在的长期奖励进行仔细的奖励。该手稿显示了VI和RL的明显不同主题是如何通过两种基本方式链接的。首先，在非顺序和顺序设置中，在软策略约束下，可以通过VI目标恢复RL最大化未来累积奖励的优化目标。该政策限制不仅是人造的，而且在许多RL任务中被证明是有用的正规化程序，从而在代理性能方面得到了重大改进。其次，在基于模型的RL中，代理旨在了解其正在运行的环境，模型学习零件自然可以用作控制环境动态的过程中的推论问题。我们将区分后者的两种情况：VI时，当环境状态被代理和VI完全观察到，仅通过观察分布才能部分观察到它们。

最近的工作发现了经典的加固学习算法，贝叶斯过滤和主动推断之间的紧密联系，这使我们可以从贝叶斯后期来理解价值功能。一种替代方案但较少探索的无模型RL算法是后继表示，它以预期未来状态占领的后继矩阵来表达价值函数。在本文中，我们根据贝叶斯过滤得出了对后继表示的概率解释，从而设计了一种新型的主动推理代理体系结构，利用后继表示而不是基于模型的计划。我们证明，积极推理后继表示在计划范围和计算成本方面，与当前主动推理代理相比具有显着优势。此外，我们演示了继任代理如何推广到改变奖励功能（例如预期自由能的变体）。

Reinforcement learning (RL) gained considerable attention by creating decision-making agents that maximize rewards received from fully observable environments. However, many real-world problems are partially or noisily observable by nature, where agents do not receive the true and complete state of the environment. Such problems are formulated as partially observable Markov decision processes (POMDPs). Some studies applied RL to POMDPs by recalling previous decisions and observations or inferring the true state of the environment from received observations. Nevertheless, aggregating observations and decisions over time is impractical for environments with high-dimensional continuous state and action spaces. Moreover, so-called inference-based RL approaches require large number of samples to perform well since agents eschew uncertainty in the inferred state for the decision-making. Active inference is a framework that is naturally formulated in POMDPs and directs agents to select decisions by minimising expected free energy (EFE). This supplies reward-maximising (exploitative) behaviour in RL, with an information-seeking (exploratory) behaviour. Despite this exploratory behaviour of active inference, its usage is limited to discrete state and action spaces due to the computational difficulty of the EFE. We propose a unified principle for joint information-seeking and reward maximization that clarifies a theoretical connection between active inference and RL, unifies active inference and RL, and overcomes their aforementioned limitations. Our findings are supported by strong theoretical analysis. The proposed framework's superior exploration property is also validated by experimental results on partial observable tasks with high-dimensional continuous state and action spaces. Moreover, the results show that our model solves reward-free problems, making task reward design optional.

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

Despite the wealth of empirical data in neuroscience, there are relatively few global theories about how the brain works. A recently proposed free-energy principle for adaptive systems tries to provide a unified account of action, perception and learning. Although this principle has been portrayed as a unified brain theory 1 , its capacity to unify different perspectives on brain function has yet to be established. This Review attempts to place some key theories within the free-energy framework, in the hope of identifying common themes. I first review the free-energy principle and then deconstruct several global brain theories to show how they all speak to the same underlying idea. The free-energy principleThe free-energy principle (BOX 1) says that any selforganizing system that is at equilibrium with its environment must minimize its free energy 2 . The principle is essentially a mathematical formulation of how adaptive systems (that is, biological agents, like animals or brains) resist a natural tendency to disorder [3][4][5][6] . What follows is a non-mathematical treatment of the motivation and implications of the principle. We will see that although the motivation is quite straightforward, the implications are complicated and diverse. This diversity allows the principle to account for many aspects of brain structure and function and lends it the potential to unify different perspectives on how the brain works. In subsequent sections, I discuss how the principle can be applied to neuronal systems as viewed from these perspectives. This Review starts in a rather abstract and technical way but then tries to unpack the basic idea in more familiar terms.Motivation: resisting a tendency to disorder. The defining characteristic of biological systems is that they maintain their states and form in the face of a constantly changing environment [3][4][5][6] . From the point of view of the brain, the environment includes both the external and the internal milieu. This maintenance of order is seen at many levels and distinguishes biological from other self-organizing systems; indeed, the physiology of biological systems can be reduced almost entirely to their homeostasis 7 . More precisely, the repertoire of physiological and sensory states in which an organism can be is limited, and these states define the organism's phenotype. Mathematically, this means that the probability of these (interoceptive and exteroceptive) sensory states must have low entropy; in other words, there is a high probability that a system will be in any of a small number of states, and a low probability that it will be in the remaining states. Entropy is also the average self information or 'surprise' 8 (more formally, it is the negative log-probability of an outcome). Here, 'a fish out of water' would be in a surprising state (both emotionally and mathematically). A fish that frequently forsook water would have high entropy. Note that both surprise and entropy depend on the agen

在过去的10到15年中，积极的推论有助于解释从习惯形成到多巴胺能放电甚至建模好奇心的各种脑机制。然而，当在将所有可能的策略上计算到时间范围内的所有可能的策略时，当前实现遭受指数（空间和时间）复杂性等级。 Fountas等人（2020）使用Monte Carlo树搜索解决这个问题，导致两个不同的任务中的令人印象深刻的结果。在本文中，我们提出了一种替代框架，其旨在通过铸造规划作为结构学习问题来统一树搜索和有效推论。然后呈现两个树搜索算法。首先将预期的自由能量及时向前传播（即，朝向叶子），而第二次向后传播（即，朝向根）。然后，我们证明前向和后向传播分别与主动推断和复杂的推断相关，从而阐明了这两个规划策略之间的差异。

深度强化学习（DRL）和深度多机构的强化学习（MARL）在包括游戏AI，自动驾驶汽车，机器人技术等各种领域取得了巨大的成功。但是，众所周知，DRL和Deep MARL代理的样本效率低下，即使对于相对简单的问题设置，通常也需要数百万个相互作用，从而阻止了在实地场景中的广泛应用和部署。背后的一个瓶颈挑战是众所周知的探索问题，即如何有效地探索环境和收集信息丰富的经验，从而使政策学习受益于最佳研究。在稀疏的奖励，吵闹的干扰，长距离和非平稳的共同学习者的复杂环境中，这个问题变得更加具有挑战性。在本文中，我们对单格和多代理RL的现有勘探方法进行了全面的调查。我们通过确定有效探索的几个关键挑战开始调查。除了上述两个主要分支外，我们还包括其他具有不同思想和技术的著名探索方法。除了算法分析外，我们还对一组常用基准的DRL进行了全面和统一的经验比较。根据我们的算法和实证研究，我们终于总结了DRL和Deep Marl中探索的公开问题，并指出了一些未来的方向。

This white paper lays out a vision of research and development in the field of artificial intelligence for the next decade (and beyond). Its denouement is a cyber-physical ecosystem of natural and synthetic sense-making, in which humans are integral participants$\unicode{x2014}$what we call ''shared intelligence''. This vision is premised on active inference, a formulation of adaptive behavior that can be read as a physics of intelligence, and which inherits from the physics of self-organization. In this context, we understand intelligence as the capacity to accumulate evidence for a generative model of one's sensed world$\unicode{x2014}$also known as self-evidencing. Formally, this corresponds to maximizing (Bayesian) model evidence, via belief updating over several scales: i.e., inference, learning, and model selection. Operationally, this self-evidencing can be realized via (variational) message passing or belief propagation on a factor graph. Crucially, active inference foregrounds an existential imperative of intelligent systems; namely, curiosity or the resolution of uncertainty. This same imperative underwrites belief sharing in ensembles of agents, in which certain aspects (i.e., factors) of each agent's generative world model provide a common ground or frame of reference. Active inference plays a foundational role in this ecology of belief sharing$\unicode{x2014}$leading to a formal account of collective intelligence that rests on shared narratives and goals. We also consider the kinds of communication protocols that must be developed to enable such an ecosystem of intelligences and motivate the development of a shared hyper-spatial modeling language and transaction protocol, as a first$\unicode{x2014}$and key$\unicode{x2014}$step towards such an ecology.

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。

我们提出了一个基于最小描述长度（MDL）原理的多任务加固学习的新颖框架。在我们称MDL-Control（MDL-C）的这种方法中，代理商在面临的任务中学习了共同的结构，然后将其提炼成更简单的表示，从而促进更快的收敛性和对新任务的概括。这样一来，MDL-C自然将适应性适应与任务分布的认知不确定性平衡。我们通过MDL原理与贝叶斯推论之间的正式联系来激励MDL-C，得出理论性能保证，并在离散和高维连续控制任务上证明了MDL-C的经验有效性。从经验上讲，该框架用于修改现有的策略优化方法，并在离散和高维连续控制问题中改善其多任务性能。

We propose a method for learning expressive energy-based policies for continuous states and actions, which has been feasible only in tabular domains before. We apply our method to learning maximum entropy policies, resulting into a new algorithm, called soft Q-learning, that expresses the optimal policy via a Boltzmann distribution. We use the recently proposed amortized Stein variational gradient descent to learn a stochastic sampling network that approximates samples from this distribution. The benefits of the proposed algorithm include improved exploration and compositionality that allows transferring skills between tasks, which we confirm in simulated experiments with swimming and walking robots. We also draw a connection to actorcritic methods, which can be viewed performing approximate inference on the corresponding energy-based model.