This study targets the mixed-integer black-box optimization (MI-BBO) problem where continuous and integer variables should be optimized simultaneously. The CMA-ES, our focus in this study, is a population-based stochastic search method that samples solution candidates from a multivariate Gaussian distribution (MGD), which shows excellent performance in continuous BBO. The parameters of MGD, mean and (co)variance, are updated based on the evaluation value of candidate solutions in the CMA-ES. If the CMA-ES is applied to the MI-BBO with straightforward discretization, however, the variance corresponding to the integer variables becomes much smaller than the granularity of the discretization before reaching the optimal solution, which leads to the stagnation of the optimization. In particular, when binary variables are included in the problem, this stagnation more likely occurs because the granularity of the discretization becomes wider, and the existing modification to the CMA-ES does not address this stagnation. To overcome these limitations, we propose a simple extension of the CMA-ES based on lower-bounding the marginal probabilities associated with the generation of integer variables in the MGD. The numerical experiments on the MI-BBO benchmark problems demonstrate the efficiency and robustness of the proposed method. Furthermore, in order to demonstrate the generality of the idea of the proposed method, in addition to the single-objective optimization case, we incorporate it into multi-objective CMA-ES and verify its performance on bi-objective mixed-integer benchmark problems.

In this study, we consider simulation-based worst-case optimization problems with continuous design variables and a finite scenario set. To reduce the number of simulations required and increase the number of restarts for better local optimum solutions, we propose a new approach referred to as adaptive scenario subset selection (AS3). The proposed approach subsamples a scenario subset as a support to construct the worst-case function in a given neighborhood, and we introduce such a scenario subset. Moreover, we develop a new optimization algorithm by combining AS3 and the covariance matrix adaptation evolution strategy (CMA-ES), denoted AS3-CMA-ES. At each algorithmic iteration, a subset of support scenarios is selected, and CMA-ES attempts to optimize the worst-case objective computed only through a subset of the scenarios. The proposed algorithm reduces the number of simulations required by executing simulations on only a scenario subset, rather than on all scenarios. In numerical experiments, we verified that AS3-CMA-ES is more efficient in terms of the number of simulations than the brute-force approach and a surrogate-assisted approach lq-CMA-ES when the ratio of the number of support scenarios to the total number of scenarios is relatively small. In addition, the usefulness of AS3-CMA-ES was evaluated for well placement optimization for carbon dioxide capture and storage (CCS). In comparison with the brute-force approach and lq-CMA-ES, AS3-CMA-ES was able to find better solutions because of more frequent restarts.

我们提出了一种依赖于大约解决最小化问题的orcacles的马鞍点优化方法。我们在强凸凹面上分析其收敛性，并向全球最大马鞍点显示线性趋同。根据收敛分析，我们开发了一种适应学习率的启发式方法。显示使用（1 + 1）-cma-es作为最小化Oracle的开发方法的实施方式，即普通话-CMA-es，优于几种现有的测试问题方法。数值评估证实了理论会聚速率的紧密性以及学习率适应机制的效率。作为实际问题的一个例子，建议的优化方法应用于模型不确定性下的自动停泊控制问题，显示其在获得解决方案到不确定性的解决方案中的用处。

我们对两个单目标和两个多目标的全局全局优化算法进行了全面的全局灵敏度分析，作为算法配置问题。也就是说，我们研究了超参数对算法的直接效果和与其他超参数的效果的影响的影响质量。使用三种敏感性分析方法Morris LHS，Morris和Sobol，可以系统地分析协方差矩阵适应进化策略，差异进化，非主导的遗传算法III和多目标进化算法的可调型矩阵适应性进化策略，基于框架的分解，基于框架揭示，基于框架的遗传算法，超参数对抽样方法和性能指标的行为。也就是说，它回答了等问题，例如什么超参数会影响模式，它们的互动方式，相互作用的互动程度以及其直接影响程度。因此，超参数的排名表明它们的调整顺序，影响模式揭示了算法的稳定性。

大多数现实世界中的问题本质上都是多模式，由多个最佳值组成。多模式优化定义为找到函数的多个全局和局部优化（与单个解决方案相反）的过程。它使用户可以根据需要在不同的解决方案之间切换，同时仍保持最佳系统性能。基于经典梯度的方法未能用于优化问题，因为目标函数是不连续的或不可差的。与需要多个重新启动的经典优化技术相比，进化算法（EAS）能够在单个算法运行中以单个算法运行中的多个解决方案找到多个解决方案，以找到不同的解决方案。因此，已经提出了一些EA来解决此类问题。但是，差异进化（DE）算法是一种基于人群的启发式方法，可以解决此类优化问题，并且可以易于实施。多模式优化问题（MMOP）的潜在挑战是有效地搜索功能空间以准确地定位大多数峰。优化问题可能是最大程度地减少或最大化给定的目标函数，我们旨在解决本研究中多模式功能的最大化问题。因此，我们提出了一种称为增强对立差异进化（EODE）算法的算法来求解MMOP。拟议的算法已在IEEE进化计算（CEC）2013基准功能上进行了测试，并且与现有的最新方法相比，它取得了竞争性结果。

最大值熵搜索（MES）是贝叶斯优化（BO）的最先进的方法之一。在本文中，我们提出了一种用于受约束问题的MES的新型变型，通过信息下限（CMES-IBO）称为受约束的ME，其基于互信息的下限的蒙特卡罗（MC）估计器（MI）。我们首先定义定义最大值的MI，以便它可以在可行性方面结合不确定性。然后，我们得出了保证非消极性的MI的下限，而传统ME的受约束对应物可以是负的。我们进一步提供了理论分析，确保我们估算者的低变异性，从未针对任何现有的信息理论博进行调查。此外，使用条件MI，我们将CMES-1BO扩展到并联设置，同时保持所需的性质。我们展示了CMES-IBO对多个基准功能和真实问题的有效性。

参数适应性，即根据面临的问题自动调整算法的超参数的能力，是应用于数值优化的进化计算的主要趋势之一。多年来，已经提出了一些手工制作的适应政策来解决这个问题，但到目前为止，在应用机器学习以学习此类政策时，只有很少的尝试。在这里，我们介绍了一个通用框架，用于基于最新的增强学习算法在连续域元启发术中进行参数适应。我们证明了该框架在两种算法上的适用性，即协方差矩阵适应性进化策略（CMA-ES）和差异演化（DE），我们分别学习，我们分别学习了对阶梯大小（CMA-ES），CMA-ES的适应性策略，以及比例因子和交叉率（DE）。我们在不同维度的一组46个基准函数上训练这些策略，在两个设置中具有各种策略的投入：每个功能的一个策略，以及所有功能的全局策略。将分别与累积的阶梯尺寸适应（CSA）策略和两个众所周知的自适应DE变体（IDE和JDE）进行了比较，我们的政策能够在大多数情况下产生竞争成果，尤其是在DE的情况下。

Explicitly accounting for uncertainties is paramount to the safety of engineering structures. Optimization which is often carried out at the early stage of the structural design offers an ideal framework for this task. When the uncertainties are mainly affecting the objective function, robust design optimization is traditionally considered. This work further assumes the existence of multiple and competing objective functions that need to be dealt with simultaneously. The optimization problem is formulated by considering quantiles of the objective functions which allows for the combination of both optimality and robustness in a single metric. By introducing the concept of common random numbers, the resulting nested optimization problem may be solved using a general-purpose solver, herein the non-dominated sorting genetic algorithm (NSGA-II). The computational cost of such an approach is however a serious hurdle to its application in real-world problems. We therefore propose a surrogate-assisted approach using Kriging as an inexpensive approximation of the associated computational model. The proposed approach consists of sequentially carrying out NSGA-II while using an adaptively built Kriging model to estimate the quantiles. Finally, the methodology is adapted to account for mixed categorical-continuous parameters as the applications involve the selection of qualitative design parameters as well. The methodology is first applied to two analytical examples showing its efficiency. The third application relates to the selection of optimal renovation scenarios of a building considering both its life cycle cost and environmental impact. It shows that when it comes to renovation, the heating system replacement should be the priority.

贝叶斯全球优化（BGO）是一种有效的替代辅助技术，用于涉及昂贵评估的问题。可以使用并行技术在一次迭代中评估真实昂贵的目标功能以增加执行时间。一种有效而直接的方法是设计一种采集函数，可以在一次迭代中评估多个解决方案浴的性能，而不是单点/解决方案。本文提出了\ emph {改进的概率}（poi）的五个替代方案，其中有多个点（q-poi）用于多目标贝叶斯全局优化（MOBGO），从而考虑了多个点之间的协方差。提供了所有提出的Q-POIS的精确计算公式和蒙特卡洛近似算法。基于与帕累托 - 前相关的多个点的分布，研究了五个Q-POI的位置依赖性行为。此外，将五个Q-Pois与其他二十个生物目标基准上的其他九个最先进的杂物算法进行了比较。进行了各种基准的经验实验，以证明两个贪婪的Q-Pois（$ \ kpoi _ {\ mbox {\ mbox {best}} $和$ \ kpoi _ {\ kpoi _ {\ mbox {all}} $）在低维问题上以及两个探索性Q-Pois（$ \ kpoi _ {\ mbox {one}} $和$ \ kpoi _ {\ mbox {worst}} $）在难以实现的高维问题上具有难以适应的帕雷托前界。

非主导的分类遗传算法II（NSGA-II）是现实应用中最强烈使用的多目标进化算法（MOEA）。然而，与几个通过数学手段分析的几个简单的MOES相反，到目前为止，NSGA-II也不存在这种研究。在这项工作中，我们表明，数学运行时分析也可用于NSGA-II。结果，我们证明，由于持续因素大于帕累托前方大小的人口大小，具有两个经典突变算子的NSGA-II和三种不同的选择父母的方式满足与Semo和GSEMO相同的渐近运行时保证基本ineminmax和Lotz基准函数的算法。但是，如果人口大小仅等于帕累托前面的大小，那么NSGA-II就无法有效地计算完整的帕累托前部（对于指数迭代，人口总是错过帕累托前部的恒定分数） 。我们的实验证实了上述研究结果。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

客户满意度在移动设备中的能源消耗至关重要。应用程序中最耗能的部分之一是图像。尽管具有不同质量的不同图像消耗了不同量的能量，但没有直接的方法来计算典型图像中操作的能量消耗。首先，本文调查了能源消耗与图像质量以及图像文件大小之间存在相关性。因此，这两者可以被视为能源消耗的代理。然后，我们提出了一种多目标策略，以增强图像质量并根据JPEG图像压缩中的定量表减少图像文件大小。为此，我们使用了两种一般的多目标元启发式方法：基于标量和基于帕累托。标量方法找到基于组合不同目标的单个最佳解决方案，而基于帕累托的技术旨在实现一组解决方案。在本文中，我们将策略纳入五种标量算法，包括能量感知的多目标遗传算法（ENMOGA），能量感知的多目标粒子群优化（ENMOPSO），能量感知的多目标多目标差异进化（ENMODE）（ENMODE）（ENMODE） ，能源感知的多目标进化策略（ENMOES）和能量感知的多目标模式搜索（ENMOPS）。此外，使用两种基于帕累托的方法，包括非主导的分类遗传算法（NSGA-II）和基于参考点的NSGA-II（NSGA-III），用于嵌入方案，以及两种基于帕累托的算法，即两种基于帕累托的算法，即提出了Ennsgaii和Ennsgaiii。实验研究表明，基线算法的性能通过将拟议策略嵌入到元启发式算法中来提高。

第五个成功规则是控制进化算法参数的最着名和最广泛接受的技术之一。虽然它经常在字面意义上应用，但一个共同的解释将五分之一的成功规则视为一系列基于成功的更新规则，这些规则由更新强度$ F $和成功率决定。在这方面，我们分析了（1 + 1）进化算法在领导者上的性能取决于这两个超参数。我们的主要结果表明，为小型更新优势获得最佳性能$ f = 1 + o（1）$和成功率$ 1 / e $。我们还证明，除了下订单术语之外，通过该参数设置获得的运行时间，通过最佳的健身依赖率实现的相同。我们对（1 + 1）进化算法的重新采样变体显示了类似的结果，该算法强制实施每次迭代至少一位。

多目标优化问题的目标在现实世界中通常会看到不同的评估成本。现在，此类问题被称为异质目标（HE-MOPS）的多目标优化问题。然而，到目前为止，只有少数研究来解决HE-MOPS，其中大多数专注于一个快速目标和一个缓慢目标的双向目标问题。在这项工作中，我们旨在应对具有两个以上黑盒和异质目标的He-mops。为此，我们通过利用He-Mops中廉价且昂贵的目标的不同数据集来减轻因评估不同目标而导致的搜索偏见，从而减轻了廉价且昂贵的目标，从而为HE-MOPS开发了多目标贝叶斯进化优化方法。为了充分利用两个不同的培训数据集，一种对所有目标进行评估的解决方案，另一个与仅在快速目标上进行评估的解决方案，构建了两个单独的高斯过程模型。此外，提出了一种新的采集函数，以减轻对快速目标的搜索偏见，从而在收敛与多样性之间达到平衡。我们通过对广泛使用的多/多目标基准问题进行测试来证明该算法的有效性，这些问题被认为是异质昂贵的。

Multi-objective feature selection is one of the most significant issues in the field of pattern recognition. It is challenging because it maximizes the classification performance and, at the same time, minimizes the number of selected features, and the mentioned two objectives are usually conflicting. To achieve a better Pareto optimal solution, metaheuristic optimization methods are widely used in many studies. However, the main drawback is the exploration of a large search space. Another problem with multi-objective feature selection approaches is the interaction between features. Selecting correlated features has negative effect on classification performance. To tackle these problems, we present a novel multi-objective feature selection method that has several advantages. Firstly, it considers the interaction between features using an advanced probability scheme. Secondly, it is based on the Pareto Archived Evolution Strategy (PAES) method that has several advantages such as simplicity and its speed in exploring the solution space. However, we improve the structure of PAES in such a way that generates the offsprings, intelligently. Thus, the proposed method utilizes the introduced probability scheme to produce more promising offsprings. Finally, it is equipped with a novel strategy that guides it to find the optimum number of features through the process of evolution. The experimental results show a significant improvement in finding the optimal Pareto front compared to state-of-the-art methods on different real-world datasets.

可以将多任务学习（MTL）范例追溯到Caruana（1997）的早期纸张中，其中表示可以使用来自多个任务的数据，其目的是在独立地学习每个任务的旨在获得更好的性能。 MTL与相互矛盾的目标的解决方案需要在它们中进行折衷，这通常超出了直线组合可以实现的。理论上原则和计算有效的策略正在寻找不受他人主导的解决方案，因为它在帕累托分析中解决了它。多任务学习环境中产生的多目标优化问题具有特定的功能，需要adhoc方法。对这些特征的分析和新的计算方法的提议代表了这项工作的重点。多目标进化算法（MOEAS）可以容易地包括优势的概念，因此可以分析。 MOEAS的主要缺点是关于功能评估的低样本效率。此缺点的关键原因是大多数进化方法不使用模型来近似于目标函数。贝叶斯优化采用基于代理模型的完全不同的方法，例如高斯过程。在本文中，输入空间中的解决方案表示为封装功能评估中包含的知识的概率分布。在这种概率分布的空间中，赋予由Wassersein距离给出的度量，可以设计一种新的算法MOEA / WST，其中模型不直接在目标函数上，而是在输入空间中的对象的中间信息空间中被映射成直方图。计算结果表明，MoEA / WST提供的样品效率和帕累托集的质量明显优于标准MoEa。

进化策略（ES）是黑框连续优化的有前途的算法类别之一。尽管在应用方面取得了广泛的成功，但对其收敛速度的理论分析在凸二次函数及其单调转换方面受到限制。％从理论上讲，它在凸功能上的收敛速度速度仍然很模糊。在这项研究中，（1+1）-ES在本地$ l $ -l $ -lipschitz连续梯度上的上限和下限（1+1）-ES的线性收敛速率被推导为$ \ exp \左（ - \ omega_ {d \ to \ infty} \ left（\ frac {l} {d \ cdot u} \ right）\ right）\ right）$ and $ \ exp \ left（ - \ frac1d \ right）$。值得注意的是，对目标函数的数学特性（例如Lipschitz常数）的任何先验知识均未给出算法，而现有的无衍生化优化算法的现有分析则需要它们。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

由于强烈的非线性系统行为和多个竞争目标，能源系统优化问题很复杂，例如，经济增益与环境影响。此外，大量输入变量和不同的变量类型，例如，连续和分类，是现实世界应用中常见的挑战。在某些情况下，提出的最佳解决方案需要遵守与物理性质或安全关键操作条件相关的显式输入限制。本文提出了一种新的数据驱动策略，使用树集合用于对黑匣子问题的约束多目标优化，与模型或未知的基础系统动态太复杂的异构变量空间。在由合成基准和相关能源应用组成的广泛案例研究中，我们展示了与其他最先进的工具相比，所提出的算法的竞争性能和采样效率，使其成为一个有用的全能解决方案 - 世界申请有限评价预算。