贝叶斯优化（BO）算法在涉及昂贵的黑盒功能的应用中表现出了显着的成功。传统上，BO被设置为一个顺序决策过程，该过程通过采集函数和先前的功能（例如高斯过程）来估计查询点的实用性。然而，最近，通过密度比率估计（BORE）对BO进行重新制定允许将采集函数重新诠释为概率二进制分类器，从而消除了对函数的显式先验和提高可伸缩性的需求。在本文中，我们介绍了对孔的遗憾和算法扩展的理论分析，并提高了不确定性估计。我们还表明，通过将问题重新提交为近似贝叶斯推断，可以自然地扩展到批处理优化设置。所得算法配备了理论性能保证，并在一系列实验中对其他批处理基本线进行了评估。

来自高斯过程（GP）模型的汤普森采样（TS）是一个强大的工具，用于优化黑盒功能。虽然TS享有强烈的理论担保和令人信服的实证性能，但它会引发大量的计算开销，可通过优化预算进行多项式。最近，已经提出了基于稀疏GP模型的可扩展TS方法来增加TS的范围，使其应用​​于足够多模态，嘈杂或组合需要的问题，以便要求解决超过几百个评估。但是，稀疏GPS引入的近似误差使所有现有的后悔界限无效。在这项工作中，我们对可扩展Ts进行了理论和实证分析。我们提供理论担保，并表明可以在标准TS上遗憾地享受可扩展TS的计算复杂性的急剧下降。这些概念索赔是针对合成基准测试的可扩展TS的实际实施，作为现实世界的高通量分子设计任务的一部分。

贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。

贝叶斯优化（BO）方法试图找到目标功能的全球最佳功能，这些功能仅作为黑盒或昂贵的评估。这样的方法为目标函数构建了替代模型，从而量化了通过贝叶斯推论的替代物中的不确定性。客观评估是通过在每个步骤中最大化采集函数来依次确定的。但是，由于采集函数的非转换性，尤其是在批处理贝叶斯优化的情况下，该辅助优化问题可能是高度不平凡的，因此可以解决。在这项工作中，我们将批处理重新定义为在概率措施空间上的优化问题。我们基于多点预期改进来构建一个新的采集函数，该功能是概率度量空间的凸面。解决此“内部”优化问题的实用方案自然会作为该目标函数的梯度流。我们证明了这种新方法对不同基准函数的功效，并与最先进的批次BO方法进行了比较。

采集函数是贝叶斯优化（BO）中的关键组成部分，通常可以写为在替代模型下对效用函数的期望。但是，为了确保采集功能是可以优化的，必须对替代模型和实用程序功能进行限制。为了将BO扩展到更广泛的模型和实用程序，我们提出了不含可能性的BO（LFBO），这是一种基于无似然推理的方法。 LFBO直接对采集函数进行建模，而无需单独使用概率替代模型进行推断。我们表明，可以将计算LFBO中的采集函数缩小为优化加权分类问题，而权重对应于所选择的实用程序。通过为预期改进选择实用程序功能，LFBO在几个现实世界优化问题上都优于各种最新的黑盒优化方法。 LFBO还可以有效利用目标函数的复合结构，从而进一步改善了其遗憾。

Bayesian optimization provides sample-efficient global optimization for a broad range of applications, including automatic machine learning, engineering, physics, and experimental design. We introduce BOTORCH, a modern programming framework for Bayesian optimization that combines Monte-Carlo (MC) acquisition functions, a novel sample average approximation optimization approach, autodifferentiation, and variance reduction techniques. BOTORCH's modular design facilitates flexible specification and optimization of probabilistic models written in PyTorch, simplifying implementation of new acquisition functions. Our approach is backed by novel theoretical convergence results and made practical by a distinctive algorithmic foundation that leverages fast predictive distributions, hardware acceleration, and deterministic optimization. We also propose a novel "one-shot" formulation of the Knowledge Gradient, enabled by a combination of our theoretical and software contributions. In experiments, we demonstrate the improved sample efficiency of BOTORCH relative to other popular libraries.34th Conference on Neural Information Processing Systems (NeurIPS 2020),

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multiarmed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

基于内核的模型，例如内核脊回归和高斯工艺在机器学习应用程序中无处不在，用于回归和优化。众所周知，基于内核的模型的主要缺点是高计算成本。给定$ n $样本的数据集，成本增长为$ \ Mathcal {o}（n^3）$。在某些情况下，现有的稀疏近似方法可以大大降低计算成本，从而有效地将实际成本降低到$ \ natercal {o}（n）$。尽管取得了显着的经验成功，但由于近似值而导致的误差的分析范围的现有结果仍然存在显着差距。在这项工作中，我们为NyStr \“ Om方法和稀疏变分高斯过程近似方法提供新颖的置信区间，我们使用模型的近似（代理）后差解释来建立这些方法。我们的置信区间可改善性能。回归和优化问题的界限。

最大值熵搜索（MES）是贝叶斯优化（BO）的最先进的方法之一。在本文中，我们提出了一种用于受约束问题的MES的新型变型，通过信息下限（CMES-IBO）称为受约束的ME，其基于互信息的下限的蒙特卡罗（MC）估计器（MI）。我们首先定义定义最大值的MI，以便它可以在可行性方面结合不确定性。然后，我们得出了保证非消极性的MI的下限，而传统ME的受约束对应物可以是负的。我们进一步提供了理论分析，确保我们估算者的低变异性，从未针对任何现有的信息理论博进行调查。此外，使用条件MI，我们将CMES-1BO扩展到并联设置，同时保持所需的性质。我们展示了CMES-IBO对多个基准功能和真实问题的有效性。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

贝叶斯优化（BO）是一种广泛使用的顺序方法，用于对复杂和昂贵计算的黑盒功能进行零阶优化。现有的BO方法假设功能评估（反馈）可立即或固定延迟后可用。在许多现实生活中的问题（例如在线建议，临床试验和超参数调谐）中，此类假设可能不实用，在随机延迟后可以提供反馈。为了从这些问题中的实验并行化中受益，学习者需要开始新的功能评估，而无需等待延迟反馈。在本文中，我们认为BO在随机延迟反馈问题下。我们提出了带有子线性后悔的算法，可以确保有效解决选择新功能查询的困境，同时等待随机延迟的反馈。在我们的结果的基础上，我们还为批处理和上下文高斯工艺匪徒做出了新的贡献。合成和现实生活数据集的实验验证了我们的算法的性能。

科学和工程中的复杂过程通常被制定为多阶段决策问题。在本文中，我们考虑了一种称为级联过程的多级决策过程。级联过程是一个多级过程，其中一个级的输出用作下一阶段的输入。当每个阶段的成本昂贵时，难以详尽地搜索每个阶段的最佳可控参数。为了解决这个问题，我们将级联过程的优化作为贝叶斯优化框架的延伸，提出了两种类型的采集功能（AFS），基于可靠的间隔和预期的改进。我们调查所提出的AFS的理论特性，并通过数值实验证明其有效性。此外，我们考虑一个被称为悬架设置的延伸，其中我们被允许在多阶段决策过程中暂停级联过程，这些过程经常出现在实际问题中。我们在太阳能电池模拟器的优化问题中应用提出的方法，这是本研究的动机。

贝叶斯优化（BO）已成为黑框函数的顺序优化。当BO用于优化目标函数时，我们通常可以访问对潜在相关功能的先前评估。这就提出了一个问题，即我们是否可以通过元学习（meta-bo）来利用这些先前的经验来加速当前的BO任务，同时确保稳健性抵抗可能破坏BO融合的潜在有害的不同任务。本文介绍了两种可扩展且可证明的稳健元算法：稳健的元高斯过程 - 加工置信度结合（RM-GP-UCB）和RM-GP-thompson采样（RM-GP-TS）。我们证明，即使某些或所有以前的任务与当前的任务不同，这两种算法在渐近上都是无重组的，并且证明RM-GP-UCB比RM-GP-TS具有更好的理论鲁棒性。我们还利用理论保证，通过通过在线学习最大程度地减少遗憾，优化分配给各个任务的权重，从而减少了相似任务的影响，从而进一步增强了稳健性。经验评估表明，（a）RM-GP-UCB在各种应用程序中都有效，一致地性能，（b）RM-GP-TS，尽管在理论上和实践中都比RM-GP-ucb稳健，但在实践中，在竞争性中表现出色某些方案具有较小的任务，并且在计算上更有效。

在预测功能（假设）中获得可靠的自适应置信度集是顺序决策任务的核心挑战，例如土匪和基于模型的强化学习。这些置信度集合通常依赖于对假设空间的先前假设，例如，繁殖核Hilbert Space（RKHS）的已知核。手动设计此类内核是容易发生的，错误指定可能导致性能差或不安全。在这项工作中，我们建议从离线数据（meta-kel）中进行元学习核。对于未知核是已知碱基核的组合的情况，我们基于结构化的稀疏性开发估计量。在温和的条件下，我们保证我们的估计RKHS会产生有效的置信度集，随着越来越多的离线数据的量，它变得与鉴于真正未知内核的置信度一样紧。我们展示了我们关于内核化强盗问题（又称贝叶斯优化）的方法，我们在其中建立了遗憾的界限，与鉴于真正的内核的人竞争。我们还经验评估方法对贝叶斯优化任务的有效性。

当数据稀缺时，元学习可以通过利用相关的学习任务的先前经验来提高学习者的准确性。然而，现有方法具有不可靠的不确定性估计，通常过于自信。解决这些缺点，我们介绍了一个名为F-PACOH的新型元学习框架，该框架称为F-PACOH，该框架将Meta学习的前沿视为随机过程，并直接在函数空间中执行元级正则化。这使我们能够直接转向元学习者在元区域训练数据区域中对高至少认知不确定性的概率预测，从而获得良好的不确定性估计。最后，我们展示了我们的方法如何与顺序决策集成，其中可靠的不确定性量化是必要的。在我们对贝叶斯优化（BO）的元学习的基准研究中，F-PACOH显着优于所有其他元学习者和标准基线。

高赌注应用中产生的许多黑匣子优化任务需要风险厌恶的决策。但标准贝叶斯优化（BO）范式仅优化了预期值。我们概括了博的商业卑鄙和输入依赖性方差，我们认为我们认为是未知的先验。特别是，我们提出了一种新的风险厌恶异源贝类贝叶斯优化算法（Rahbo），其旨在识别具有高回报和低噪声方差的解决方案，同时在飞行时学习噪声分布。为此，我们将期望和方差模拟（未知）RKHS函数，并提出了一种新的风险感知获取功能。我们对我们的方法绑定了遗憾，并提供了一个强大的规则，以报告必须识别单个解决方案的应用程序的最终决策点。我们展示了Rahbo对合成基准函数和超参数调整任务的有效性。

信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。

Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.

许多昂贵的黑匣子优化问题对其输入敏感。在这些问题中，定位一个良好的设计区域更有意义，而不是一个可能的脆弱的最佳设计。昂贵的黑盒功能可以有效地优化贝叶斯优化，在那里高斯过程是在昂贵的功能之前的流行选择。我们提出了一种利用贝叶斯优化的强大优化方法，找到一种设计空间区域，其中昂贵的功能的性能对输入相对不敏感，同时保持质量好。这是通过从正在建模昂贵的功能的高斯进程的实现来实现这一点，并评估每个实现的改进。这些改进的期望可以用进化算法廉价地优化，以确定评估昂贵功能的下一个位置。我们描述了一个有效的过程来定位最佳预期改进。我们凭经验展示了评估候选不确定区域的昂贵功能的昂贵功能，该模型最不确定，或随机地产生最佳收敛与利用方案相比。我们在两个，五个和十个维度中说明了我们的六个测试功能的方法，并证明它能够优于来自文献的两种最先进的方法。我们还展示了我们的方法在4和8维中展示了两个真实问题，这涉及训练机器人臂，将物体推到目标上。