在本文中，我们考虑了找到一种元学习在线控制算法的问题，该算法可以在面对$ n $（类似）控制任务的序列时可以在整个任务中学习。每个任务都涉及控制$ t $时间步骤的有限视野的线性动力系统。在采取控制动作之前，每个时间步骤的成本函数和系统噪声是对抗性的，并且控制器未知。元学习是一种广泛的方法，其目标是为任何新的未见任务开出在线政策，从其他任务中利用信息以及任务之间的相似性。我们为控制设置提出了一种元学习的在线控制算法，并通过\ textit {meta-regret}表征其性能，这是整个任务的平均累积后悔。我们表明，当任务数量足够大时，我们提出的方法实现了与独立学习的在线控制算法相比，$ d/d/d^{*} $较小的元regret，该算法不会在整个网上控制算法上进行学习任务，其中$ d $是一个问题常数，$ d^{*} $是标量，随着任务之间的相似性的增加而降低。因此，当任务的顺序相似时，提议的元学习在线控制的遗憾显着低于没有元学习的幼稚方法。我们还提出了实验结果，以证明我们的元学习算法获得的出色性能。

Projection operations are a typical computation bottleneck in online learning. In this paper, we enable projection-free online learning within the framework of Online Convex Optimization with Memory (OCO-M) -- OCO-M captures how the history of decisions affects the current outcome by allowing the online learning loss functions to depend on both current and past decisions. Particularly, we introduce the first projection-free meta-base learning algorithm with memory that minimizes dynamic regret, i.e., that minimizes the suboptimality against any sequence of time-varying decisions. We are motivated by artificial intelligence applications where autonomous agents need to adapt to time-varying environments in real-time, accounting for how past decisions affect the present. Examples of such applications are: online control of dynamical systems; statistical arbitrage; and time series prediction. The algorithm builds on the Online Frank-Wolfe (OFW) and Hedge algorithms. We demonstrate how our algorithm can be applied to the online control of linear time-varying systems in the presence of unpredictable process noise. To this end, we develop the first controller with memory and bounded dynamic regret against any optimal time-varying linear feedback control policy. We validate our algorithm in simulated scenarios of online control of linear time-invariant systems.

我们解决了通过在线后退地平线控制（RHC）的框架来控制控制未知线性动态系统的问题，以时代变化的成本函数。我们考虑控制算法不知道真正的系统模型的设置，并且只能访问固定长度（不与控制范围内的增长）预览未来成本函数。我们使用动态遗憾度量的算法表征了算法的性能，该算法被定义为算法产生的累积成本与后视行动中最佳动作顺序之间的差异。我们提出了两个不同的在线RHC算法来解决这个问题，即确定的等价RHC（CE-RHC）算法和乐观RHC（O-RHC）算法。我们表明，在模型估计的标准稳定假设下，CE-RHC算法实现$ \ Mathcal {O}（T ^ {2/3}）$动态遗憾。然后，我们将此结果扩展到通过提出O-RHC算法仅适用于真实系统模型的稳定假设。我们表明O-RHC算法实现$ \ Mathcal {O}（T ^ {2/3}）$动态遗憾，但有一些额外的计算。

我们研究了安全在线凸优化的问题，其中每个时间步长的动作必须满足一组线性安全约束。目标是选择一系列动作，以最小化遗憾，而不会在任何时间步骤（具有高概率）时违反安全约束。指定线性安全约束的参数对算法未知。该算法只能访问所选择的操作的约束的嘈杂观察。我们提出了一种算法，称为{Safe Online投影梯度下降}（SO-PGD）算法，以解决这个问题。我们表明，在假设安全基线动作的可用性的假设下，所以PGD算法实现了遗憾$ O（t ^ {2/3}）$。虽然在线凸优化（OCO）存在许多用于文献中的安全约束的算法，但它们允许在学习/优化期间违反限制，并且重点是表征累积约束违规。据我们所知，我们的是第一项工作，提供了一个遗憾的算法，而无需在任何时间步骤违反线性安全约束（具有高概率）。

我们研究了在线马尔可夫决策过程（MDP），具有对抗性变化的损失功能和已知过渡。我们选择动态遗憾作为绩效度量，定义为学习者和任何可行的变化策略序列之间的绩效差异。这项措施严格比标准的静态遗憾要强得多，该标准遗憾的是，基准通过固定的政策将学习者的绩效表现为学习者的表现。我们考虑了三种在线MDP的基础模型，包括无情节循环随机路径（SSP），情节SSP和Infinite-Horizo​​n MDP。对于这三个模型，我们提出了新颖的在线集合算法并分别建立了动态​​遗憾保证，在这种情况下，情节性（无环）SSP的结果在时间范围和某些非平稳性度量方面是最佳的最低限度。此外，当学习者遇到的在线环境是可以预测的时，我们设计了改进的算法并为情节（无环）SSP实现更好的动态遗憾界限；此外，我们证明了无限 - 摩恩MDP的不可能结果。

在线优化是一个完善的优化范式，旨在鉴于对以前的决策任务的正确答案，旨在做出一系列正确的决策。二重编程涉及一个分层优化问题，其中所谓的外部问题的可行区域受内部问题的解决方案集映射的限制。本文将这两个想法汇总在一起，并研究了在线双层优化设置，其中一系列随时间变化的二聚体问题又一个接一个地揭示了一个。我们将已知的单层在线算法的已知遗憾界限扩展到双重设置。具体而言，我们引入了新的杂种遗憾概念，开发了一种在线交替的时间平均梯度方法，该方法能够利用光滑度，并根据内部和外部极型序列的长度提供遗憾的界限。

我们考虑在随机凸成本和状态和成本函数的全部反馈下控制未知线性动力学系统的问题。我们提出了一种计算高效的算法，该算法与最佳的稳定线性控制器相比，该算法达到了最佳的$ \ sqrt {t} $遗憾。与以前的工作相反，我们的算法基于面对不确定性范式的乐观情绪。这导致了大大改善的计算复杂性和更简单的分析。

我们在非静止环境中调查在线凸优化，然后选择\ emph {动态后悔}作为性能测量，定义为在线算法产生的累积损失与任何可行比较器序列之间的差异。让$ t $是$ p_t $ be的路径长度，基本上反映了环境的非平稳性，最先进的动态遗憾是$ \ mathcal {o}（\ sqrt {t（ 1 + p_t）}）$。虽然这一界限被证明是凸函数最佳的最低限度，但在本文中，我们证明可以进一步提高一些简单的问题实例的保证，特别是当在线功能平滑时。具体而言，我们提出了新的在线算法，可以利用平滑度并替换动态遗憾的$ t $替换依据\ {问题依赖性}数量：损耗函数梯度的变化，比较器序列的累积损失，以及比较器序列的累积损失最低术语的最低限度。这些数量是大多数$ \ mathcal {o}（t）$，良性环境中可能更小。因此，我们的结果适应了问题的内在难度，因为边界比现有结果更严格，以便在最坏的情况下保证相同的速率。值得注意的是，我们的算法只需要\ emph {一个}渐变，这与开发的方法共享相同的渐变查询复杂性，以优化静态遗憾。作为进一步的应用，我们将来自全信息设置的结果扩展到具有两点反馈的强盗凸优化，从而达到此类强盗任务的第一个相关的动态遗憾。

We study the problem of planning under model uncertainty in an online meta-reinforcement learning (RL) setting where an agent is presented with a sequence of related tasks with limited interactions per task. The agent can use its experience in each task and across tasks to estimate both the transition model and the distribution over tasks. We propose an algorithm to meta-learn the underlying structure across tasks, utilize it to plan in each task, and upper-bound the regret of the planning loss. Our bound suggests that the average regret over tasks decreases as the number of tasks increases and as the tasks are more similar. In the classical single-task setting, it is known that the planning horizon should depend on the estimated model's accuracy, that is, on the number of samples within task. We generalize this finding to meta-RL and study this dependence of planning horizons on the number of tasks. Based on our theoretical findings, we derive heuristics for selecting slowly increasing discount factors, and we validate its significance empirically.

自适应梯度算法（例如Adagrad及其变体）在培训深神经网络方面已广受欢迎。尽管许多适合自适应方法的工作都集中在静态的遗憾上，作为实现良好遗憾保证的性能指标，但对这些方法的动态遗憾分析尚不清楚。与静态的遗憾相反，动态遗憾被认为是绩效测量的更强大的概念，因为它明确阐明了环境的非平稳性。在本文中，我们通过动态遗憾的概念在一个强大的凸面设置中浏览了Adagrad（称为M-Adagrad）的一种变体，该遗憾衡量了在线学习者的性能，而不是参考（最佳）解决方案，这可能会改变时间。我们证明了根据最小化序列的路径长度的束缚，该序列基本上反映了环境的非平稳性。此外，我们通过利用每个回合中学习者的多个访问权限来增强动态遗憾。经验结果表明，M-Adagrad在实践中也很好。

在学徒学习（AL）中，我们在没有获得成本函数的情况下给予马尔可夫决策过程（MDP）。相反，我们观察由根据某些政策执行的专家采样的轨迹。目标是找到一个与专家对某些预定义的成本函数的性能相匹配的策略。我们介绍了AL的在线变体（在线学徒学习; OAL），其中代理商预计与环境相互作用，在与环境互动的同时相互表现。我们表明，通过组合两名镜面血缘无遗憾的算法可以有效地解决了OAL问题：一个用于策略优化，另一个用于学习最坏情况的成本。通过采用乐观的探索，我们使用$ O（\ SQRT {k}）$后悔派生算法，其中$ k $是与MDP的交互数量以及额外的线性错误术语，其取决于专家轨迹的数量可用的。重要的是，我们的算法避免了在每次迭代时求解MDP的需要，与先前的AL方法相比，更实用。最后，我们实现了我们算法的深层变体，该算法与Gail \ Cite {Ho2016Generative}共享了一些相似之处，但在鉴别者被替换为OAL问题的成本。我们的模拟表明OAL在高维控制问题中表现良好。

我们考虑在线模仿学习（OIL），其中的任务是找到一项通过与环境的积极互动来模仿专家的行为的政策。我们旨在通过分析最流行的石油算法之一匕首来弥合石油政策优化算法之间的差距。具体而言，如果一类政策足以包含专家政策，我们证明匕首会持续遗憾。与以前需要损失的界限不同，我们的结果只需要较弱的假设，即损失相对于策略的足够统计数据（而不是其参数化）。为了确保对更广泛的政策和损失类别的收敛，我们以额外的正则化项增强了匕首。特别是，我们提出了一个遵循定制领导者（FTRL）的变体及其用于石油的自适应变体，并开发了与FTL的内存需求相匹配的记忆效率实现。假设损失的功能是平稳的，并且相对于政策参数凸出，我们还证明，FTRL对任何足够表达的政策类别都持续遗憾，同时保留了$ O（\ sqrt {t}）$，在最坏的情况下遗憾案子。我们通过实验对合成和高维控制任务的实验证明了这些算法的有效性。

A central capability of intelligent systems is the ability to continuously build upon previous experiences to speed up and enhance learning of new tasks. Two distinct research paradigms have studied this question. Meta-learning views this problem as learning a prior over model parameters that is amenable for fast adaptation on a new task, but typically assumes the tasks are available together as a batch. In contrast, online (regret based) learning considers a setting where tasks are revealed one after the other, but conventionally trains a single model without task-specific adaptation. This work introduces an online meta-learning setting, which merges ideas from both paradigms to better capture the spirit and practice of continual lifelong learning. We propose the follow the meta leader (FTML) algorithm which extends the MAML algorithm to this setting. Theoretically, this work provides an O(log T ) regret guarantee with one additional higher order smoothness assumption (in comparison to the standard online setting). Our experimental evaluation on three different largescale problems suggest that the proposed algorithm significantly outperforms alternatives based on traditional online learning approaches.

我们通过反馈信息研究了离线和在线上下文优化的问题，而不是观察损失，我们会在事后观察到最佳的动作，而是对目标功能充分了解的甲骨文。我们的目标是最大程度地减少遗憾，这被定义为我们的损失与全知的甲骨所产生的损失之间的区别。在离线设置中，决策者可以从过去段中获得信息，并且需要做出一个决策，而在在线环境中，决策者在每个时期内都会动态地基于一组新的可行动作和上下文功能，以动态进行决策。 。对于离线设置，我们表征了最佳的最小策略，确定可以实现的性能，这是数据引起的信息的基础几何形状的函数。在在线环境中，我们利用这种几何表征来优化累积遗憾。我们开发了一种算法，该算法在时间范围内产生了对数的第一个遗憾。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

我们研究了对抗性多臂土匪的元学习。我们考虑在线 - 在线设置，其中玩家（学习者）遇到了一系列多臂强盗情节。根据对手产生的损失，球员的表现被衡量为对每一集中最佳手臂的遗憾。问题的难度取决于对手选择的最佳手臂的经验分布。我们提出了一种算法，可以利用这种经验分布中的非均匀性，并得出与问题有关的遗憾界限。该解决方案包括一个内部学习者，该学习者分别播放每个情节，以及一个外部学习者，它更新了情节之间内部算法的超参数。如果最好的手臂分配远非统一，则它可以通过在每个情节上单独执行的任何在没有元学习的在线执行的在线算法来实现的最佳界限。

当在未知约束集中任意变化的分布中生成数据时，我们会考虑使用专家建议的预测。这种半反向的设置包括（在极端）经典的I.I.D.设置时，当未知约束集限制为单身人士时，当约束集是所有分布的集合时，不受约束的对抗设置。对冲状态中，对冲算法（长期以来已知是最佳的最佳速率（速率））最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中，我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限，表明确定性学习率的对冲在极端之外是次优的，并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者（FTRL）框架实现了这种最佳适应性，并采用了一种新型的自适应正则化方案，该方案隐含地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。

我们考虑了具有一系列二次损耗的序列，即LQR控制的问题。我们提供了一种有效的在线算法，该算法实现了$ \ tilde {o}的最佳动态（策略）遗憾（\ text {max} \ {n^{n^{1/3} \ mathcal {tv}（m_ {1：n}）^{2/3}，1 \}）$，其中$ \ Mathcal {tv}（m_ {1：n}）$是任何Oracle序列序列的总变化，由$ M_1，...，...，...，...，...，...，...，...，...，...，...，...，...，...m_n $ - 事后选择以迎合未知的非机构性。该费率提高了$ \ tilde {o}（\ sqrt {n（\ Mathcal {tv}}（m_ {1：n}）+1）} $的最佳已知费率（\ sqrt {N（\ Mathcal {tv}}）$ - 理论上最佳的LQR。主要技术组件包括将LQR减少到在线线性回归，并延迟由于Foster和Simchowitz（2020）而延迟反馈，以及具有最佳$ \ tilde {o}（n^{1/3}）的新的适当学习算法（N^{1/3}）$动态的遗憾是``小匹配''二次损失的家庭，这可能引起独立的兴趣。

汤普森采样（TS）是在不确定性下进行决策的有效方法，其中从精心规定的分布中采样了动作，该分布根据观察到的数据进行更新。在这项工作中，我们研究了使用TS的可稳定线性季度调节剂（LQR）自适应控制的问题，其中系统动力学是未知的。先前的作品已经确定，$ \ tilde o（\ sqrt {t}）$频繁的遗憾对于LQR的自适应控制是最佳的。但是，现有方法要么仅在限制性设置中起作用，需要先验已知的稳定控制器，要么使用计算上棘手的方法。我们提出了一种有效的TS算法，用于对LQR的自适应控制，TS基于TS的自适应控制，TSAC，该算法达到了$ \ tilde o（\ sqrt {t}）$遗憾，即使对于多维系统和Lazaric（2018）。 TSAC不需要先验已知的稳定控制器，并通过在早期阶段有效探索环境来实现基础系统的快速稳定。我们的结果取决于开发新颖的下限TS提供乐观样本的概率。通过仔细规定早期的探索策略和政策更新规则，我们表明TS在适应性控制多维可稳定性LQR方面实现了最佳的遗憾。我们从经验上证明了TSAC在几个自适应控制任务中的性能和效率。

本文考虑了线性二次双控制问题，其中需要识别系统参数，并且需要在该时期优化控制目标。与现有的数据驱动线性二次调节相反，这通常在某种概率内提供错误或后悔界限，我们提出了一种在线算法，可以在几乎肯定的意义上保证控制器的渐近最优性。我们的双重控制策略由两部分组成：基于勘探噪声和系统输出之间的互相关，具有时间衰减探索噪声和Markov参数推断的交换控制器。当实际状态显着地从目标状态偏离时，几乎肯定的性能保证是一个安全的交换控制策略，其返回到已知的保守但稳定的控制器。我们证明，此切换策略规定了从应用中的任何潜在的稳定控制器，而我们的交换策略与最佳线性状态反馈之间的性能差距是指数较小的。在我们的双控制方案下，参数推理误差尺度为$ O（t ^ {-1 / 4 + \ epsilon}）$，而控制性能的子优相差距为$ o（t ^ { - 1/2 + \ epsilon}）$，$ t $是时间步数，$ \ epsilon $是一个任意小的正数。提供了工业过程示例的仿真结果，以说明我们提出的策略的有效性。