在本文中，我们分析了数据新鲜度对实时监督学习的影响，在该学习中，对神经网络进行了培训，可以根据功能（例如，视频框架）推断出时间变化的目标（例如，车辆在前面的位置） ）在传感节点（例如，相机或激光雷达）上观察到。人们可能会期望随着功能变得陈旧，实时监督学习的表现会单调地降低。使用信息理论分析，我们表明，如果特征和目标数据序列可以与马尔可夫链紧密接近，这是正确的。如果数据序列远非马克维亚人，那是不正确的。因此，实时监督学习的预测错误是信息时代（AOI）的函数，该函数可能是非单调的。进行了几项实验，以说明预测误差的单调和非单调行为。为了最大程度地减少实时的推理误差，我们提出了一种用于发送功能的新“选择 - 逃避器”模型，该模型比早期研究中使用的“生成意志”模型更一般。通过使用Gittins和Whittle索引，开发了低复杂性调度策略来最大程度地减少推理误差，在此发现Gittins索引理论与信息时代（AOI）之间的新联系最小化。这些调度结果（i）可将一般AOI函数（单调或非单调）和（ii）最小化，以最大程度地减少一般特征传输时间分布。提出了数据驱动的评估，以说明提出的调度算法的好处。

在优化动态系统时，变量通常具有约束。这些问题可以建模为受约束的马尔可夫决策过程（CMDP）。本文考虑了受限制的马尔可夫决策过程（PCMDP），其中代理选择该策略以最大程度地提高有限视野中的总奖励，并在每个时期内满足约束。应用不受约束的问题并应用了基于Q的方法。我们定义了可能正确正确的PCMDP问题的概念（PAC）。事实证明，提出的算法可以实现$（\ epsilon，p）$ - PAC政策，当$ k \ geq \ omega（\ frac {i^2h^6sa \ ell} {\ ell} {\ epsilon^2}）$ $ s $和$ a $分别是州和行动的数量。 $ h $是每集时代的数量。 $ i $是约束函数的数量，$ \ ell = \ log（\ frac {sat} {p}）$。我们注意到，这是PCMDP的PAC分析的第一个结果，具有峰值约束，其中过渡动力学未知。我们证明了有关能量收集问题和单个机器调度问题的提议算法，该算法接近研究优化问题的理论上限。

在无线网络控制系统（WNCSS）对共享无线资源的传输计划文献中，大多数研究工作都集中在部分分布式设置上，即控制器和执行器或传感器和控制器共存。为了克服这一限制，目前的工作考虑了具有分布式工厂，传感器，执行器和控制器的完全分布的WNC，共享了有限数量的频道。为了克服沟通限制，控制器计划传输并生成用于控制的顺序预测命令。使用随机系统理论的元素，我们得出了WNC的足够稳定性条件，该条件在控制和通信系统参数方面均已说明。一旦满足条件，就会至少存在一种固定和确定性的调度政策，可以稳定WNC的所有植物。通过分析和代表WNC的每步成本函数，根据有限的可数值矢量状态，我们将最佳的传输调度问题提出到马尔可夫决策过程问题，并开发基于深入的基于强化的算法，以求解以解决的算法它。数值结果表明，所提出的算法显着优于基准策略。

信息指标的年龄无法正确描述状态更新的内在语义。在一个智能反映表面上的合作中继通信系统中，我们提出了语义年龄（AOS），用于测量状态更新的语义新鲜度。具体而言，我们专注于从源节点（SN）到目标的状态更新，该状态被称为马尔可夫决策过程（MDP）。 SN的目的是在最大发射功率约束下最大程度地提高AOS和能源消耗的预期满意度。为了寻求最佳的控制政策，我们首先在派利时间差异学习框架下推出了在线深层演员批评（DAC）学习方案。但是，实践实施在线DAC在SN和系统之间无限重复的互动中构成了关键的挑战，这可能是危险的，尤其是在探索过程中。然后，我们提出了一个新颖的离线DAC方案，该方案估算了先前收集的数据集的最佳控制策略，而无需与系统进行任何进一步的交互。数值实验验证了理论结果，并表明我们的离线DAC方案在平均效用方面显着优于在线DAC方案和最具代表性的基线，这表明了对数据集质量的强大鲁棒性。

Remote state estimation of large-scale distributed dynamic processes plays an important role in Industry 4.0 applications. In this paper, we focus on the transmission scheduling problem of a remote estimation system. First, we derive some structural properties of the optimal sensor scheduling policy over fading channels. Then, building on these theoretical guidelines, we develop a structure-enhanced deep reinforcement learning (DRL) framework for optimal scheduling of the system to achieve the minimum overall estimation mean-square error (MSE). In particular, we propose a structure-enhanced action selection method, which tends to select actions that obey the policy structure. This explores the action space more effectively and enhances the learning efficiency of DRL agents. Furthermore, we introduce a structure-enhanced loss function to add penalties to actions that do not follow the policy structure. The new loss function guides the DRL to converge to the optimal policy structure quickly. Our numerical experiments illustrate that the proposed structure-enhanced DRL algorithms can save the training time by 50% and reduce the remote estimation MSE by 10% to 25% when compared to benchmark DRL algorithms. In addition, we show that the derived structural properties exist in a wide range of dynamic scheduling problems that go beyond remote state estimation.

我们探索了一个新的强盗实验模型，其中潜在的非组织序列会影响武器的性能。上下文 - 统一算法可能会混淆，而那些执行正确的推理面部信息延迟的算法。我们的主要见解是，我们称之为Deconfounst Thompson采样的算法在适应性和健壮性之间取得了微妙的平衡。它的适应性在易于固定实例中带来了最佳效率，但是在硬性非平稳性方面显示出令人惊讶的弹性，这会导致其他自适应算法失败。

资源限制的在线分配问题是收入管理和在线广告中的核心问题。在这些问题中，请求在有限的地平线期间顺序到达，对于每个请求，决策者需要选择消耗一定数量资源并生成奖励的动作。目标是最大限度地提高累计奖励，这是对资源总消费的限制。在本文中，我们考虑一种数据驱动的设置，其中使用决策者未知的输入模型生成每个请求的奖励和资源消耗。我们设计了一般的算法算法，可以在各种输入模型中实现良好的性能，而不知道它们面临的类型类型。特别是，我们的算法在独立和相同的分布式输入以及各种非静止随机输入模型下是渐近的最佳选择，并且当输入是对抗性时，它们达到渐近最佳的固定竞争比率。我们的算法在Lagrangian双色空间中运行：它们为使用在线镜像血管更新的每个资源维护双倍乘数。通过相应地选择参考功能，我们恢复双梯度下降和双乘法权重更新算法。与现有的在线分配问题的现有方法相比，所产生的算法简单，快速，不需要在收入函数，消费函数和动作空间中凸起。我们将应用程序讨论到网络收入管理，在线竞标，重复拍卖，预算限制，与高熵的在线比例匹配，以及具有有限库存的个性化分类优化。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。

我们在无限地平线马尔可夫决策过程中考虑批量（离线）策略学习问题。通过移动健康应用程序的推动，我们专注于学习最大化长期平均奖励的政策。我们为平均奖励提出了一款双重强大估算器，并表明它实现了半导体效率。此外，我们开发了一种优化算法来计算参数化随机策略类中的最佳策略。估计政策的履行是通过政策阶级的最佳平均奖励与估计政策的平均奖励之间的差异来衡量，我们建立了有限样本的遗憾保证。通过模拟研究和促进体育活动的移动健康研究的分析来说明该方法的性能。

本文考虑了一个移动机器人的轨迹计划，该机器人在遥远的通信节点对之间持续中继数据。数据在每个源处积聚，机器人必须移动到适当的位置，以使数据卸载到相应的目的地。机器人需要最大程度地减少数据在维修之前在源等待的平均时间。我们有兴趣找到由1）位置组成的最佳机器人路由策略，该位置在该位置停止继电器（继电器位置）和2）确定对配对的序列的条件过渡概率。我们首先将这个问题作为一个非凸面问题，可在中继位置和过渡概率上进行优化。为了找到近似解决方案，我们提出了一种新型算法，该算法交替优化继电器位置和过渡概率。对于前者，我们找到了非凸vex继电器区域的有效凸线分区，然后制定混合校准二阶锥体问题。对于后者，我们通过顺序最小二乘编程找到最佳的过渡概率。我们广泛分析了所提出的方法，并在数学上表征了与机器人的长期能耗和服务速率相关的重要系统属性。最后，通过使用真实的通道参数进行广泛的仿真，我们验证了方法的功效。

我们考虑了一类不安的匪徒问题，这些问题在随机优化，增强学习和操作研究中发现了一个广泛的应用领域。我们考虑$ n $独立离散时间马尔可夫流程，每个过程都有两个可能的状态：1和0（“好”和“坏”）。只有在状态1中既有过程又观察到的过程才能得到奖励。目的是最大限度地提高无限视野的预期折扣总和，受到约束，即在每个步骤中只能观察到$ m $ $ $（<n）$。观察是容易出错的：有一个已知的概率，即状态1（0）将被观察为0（1）。从这个人知道，在任何时候$ t $，过程$ i $在状态1中的概率1。可以将结果系统建模为不​​安的多臂强盗问题，具有无数基数的信息状态空间。一般而言，即使是有限状态空间的不安强盗问题也是Pspace-Hard。我们提出了一种新颖的方法，以简化这类不安的土匪的动态编程方程，并开发出一种低复杂性算法，该算法实现了强劲的性能，并且对于带有观察错误的一般不安强盗模型而言，很容易扩展。在某些条件下，我们确定了Whittle指数的存在（索引性）及其与我们的算法的等效性。当这些条件不满足时，我们通过数值实验显示了算法在一般参数空间中的近乎最佳性能。最后，从理论上讲，我们证明了我们算法对于均匀系统的最佳性。

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

在本文中，我们介绍了超模块化$ \ mf $ -Diverences，并为它们提供了三个应用程序：（i）我们在基于超模型$ \ MF $ - 基于独立随机变量的尾部引入了Sanov的上限。分歧并表明我们的广义萨诺夫（Sanov）严格改善了普通的界限，（ii）我们考虑了有损耗的压缩问题，该问题研究了给定失真和代码长度的一组可实现的速率。我们使用互助$ \ mf $ - 信息扩展了利率 - 延伸函数，并使用超模块化$ \ mf $ -Diverences在有限的区块长度方面提供了新的，严格的更好的界限，并且（iii）我们提供了连接具有有限输入/输出共同$ \ mf $的算法的概括误差和广义率延伸问题。该连接使我们能够使用速率函数的下限来限制学习算法的概括误差。我们的界限是基于对利率延伸函数的新下限，该函数（对于某些示例）严格改善了以前最著名的界限。此外，使用超模块化$ \ mf $ -Divergences来减少问题的尺寸并获得单字母界限。

强大的增强学习（RL）的目的是学习一项与模型参数不确定性的强大策略。由于模拟器建模错误，随着时间的推移，现实世界系统动力学的变化以及对抗性干扰，参数不确定性通常发生在许多现实世界中的RL应用中。强大的RL通常被称为最大问题问题，其目的是学习最大化价值与不确定性集合中最坏可能的模型的策略。在这项工作中，我们提出了一种称为鲁棒拟合Q-材料（RFQI）的强大RL算法，该算法仅使用离线数据集来学习最佳稳健策略。使用离线数据的强大RL比其非持续性对应物更具挑战性，因为在强大的Bellman运营商中所有模型的最小化。这在离线数据收集，对模型的优化以及公正的估计中构成了挑战。在这项工作中，我们提出了一种系统的方法来克服这些挑战，从而导致了我们的RFQI算法。我们证明，RFQI在标准假设下学习了一项近乎最佳的强大政策，并证明了其在标准基准问题上的出色表现。

This paper studies offline policy learning, which aims at utilizing observations collected a priori (from either fixed or adaptively evolving behavior policies) to learn an optimal individualized decision rule that achieves the best overall outcomes for a given population. Existing policy learning methods rely on a uniform overlap assumption, i.e., the propensities of exploring all actions for all individual characteristics are lower bounded in the offline dataset; put differently, the performance of the existing methods depends on the worst-case propensity in the offline dataset. As one has no control over the data collection process, this assumption can be unrealistic in many situations, especially when the behavior policies are allowed to evolve over time with diminishing propensities for certain actions. In this paper, we propose a new algorithm that optimizes lower confidence bounds (LCBs) -- instead of point estimates -- of the policy values. The LCBs are constructed using knowledge of the behavior policies for collecting the offline data. Without assuming any uniform overlap condition, we establish a data-dependent upper bound for the suboptimality of our algorithm, which only depends on (i) the overlap for the optimal policy, and (ii) the complexity of the policy class we optimize over. As an implication, for adaptively collected data, we ensure efficient policy learning as long as the propensities for optimal actions are lower bounded over time, while those for suboptimal ones are allowed to diminish arbitrarily fast. In our theoretical analysis, we develop a new self-normalized type concentration inequality for inverse-propensity-weighting estimators, generalizing the well-known empirical Bernstein's inequality to unbounded and non-i.i.d. data.

我们考虑一个不当的强化学习设置，在该设置中，为学习者提供了$ M $的基本控制器，以进行未知的马尔可夫决策过程，并希望最佳地结合它们，以生产一个可能胜过每个基本基础的控制器。这对于在不匹配或模拟环境中学习的跨控制器进行调整可能很有用，可以为给定的目标环境获得良好的控制器，而试验相对较少。在此方面，我们提出了两种算法：（1）一种基于政策梯度的方法； （2）可以根据可用信息在基于简单的参与者（AC）方案和天然参与者（NAC）方案之间切换的算法。两种算法都在给定控制器的一类不当混合物上运行。对于第一种情况，我们得出融合率保证，假设访问梯度甲骨文。对于基于AC的方法，我们提供了基本AC案例中的固定点的收敛速率保证，并在NAC情况下为全球最优值提供了保证。 （i）稳定卡特柱的标准控制理论基准的数值结果； （ii）一个受约束的排队任务表明，即使可以使用的基本策略不稳定，我们的不当政策优化算法也可以稳定系统。

当在未知约束集中任意变化的分布中生成数据时，我们会考虑使用专家建议的预测。这种半反向的设置包括（在极端）经典的I.I.D.设置时，当未知约束集限制为单身人士时，当约束集是所有分布的集合时，不受约束的对抗设置。对冲状态中，对冲算法（长期以来已知是最佳的最佳速率（速率））最近被证明是对I.I.D.的最佳最小值。数据。在这项工作中，我们建议放松I.I.D.通过在约束集的所有自然顺序上寻求适应性来假设。我们在各个级别的Minimax遗憾中提供匹配的上限和下限，表明确定性学习率的对冲在极端之外是次优的，并证明人们可以在各个级别的各个层面上都能适应Minimax的遗憾。我们使用以下规范化领导者（FTRL）框架实现了这种最佳适应性，并采用了一种新型的自适应正则化方案，该方案隐含地缩放为当前预测分布的熵的平方根，而不是初始预测分布的熵。最后，我们提供了新的技术工具来研究FTRL沿半逆转频谱的统计性能。

经济学和政策等现实世界应用程序往往涉及解决多智能运动游戏与两个独特的特点：（1）代理人本质上是不对称的，并分成领导和追随者; （2）代理商有不同的奖励功能，因此游戏是普通的。该领域的大多数现有结果侧重于对称解决方案概念（例如纳什均衡）或零和游戏。它仍然开放了如何学习Stackelberg均衡 - 从嘈杂的样本有效地纳入均衡的不对称模拟 - 纳入均衡。本文启动了对Birtit反馈设置中Stackelberg均衡的样本高效学习的理论研究，我们只观察奖励的噪音。我们考虑三个代表双人普通和游戏：强盗游戏，强盗加固学习（Bandit-RL）游戏和线性匪徒游戏。在所有这些游戏中，我们使用有义的许多噪声样本来确定Stackelberg均衡和其估计版本的确切值之间的基本差距，无论算法如何，都无法封闭信息。然后，我们在对上面识别的差距最佳的基础上的数据高效学习的样本高效学习的敏锐积极结果，在依赖于依赖性的差距，误差容限和动作空间的大小，匹配下限。总体而言，我们的结果在嘈杂的强盗反馈下学习Stackelberg均衡的独特挑战，我们希望能够在未来的研究中阐明这一主题。

在包括在线广告，合同招聘和无线调度的各种应用中，控制器受到可用资源的严格预算约束的限制，这些资源由每个动作以随机量消耗，以及可能施加的随机可行性约束关于决策的重要运作限制。在这项工作中，我们考虑一个常规模型来解决这些问题，每个行动都返回一个随机奖励，成本和罚款从未知的联合分配返回，决策者旨在最大限度地提高预算约束下的总奖励$ B $在总成本和随机限制的时间平均罚款。我们提出了一种基于Lyapunov优化方法的新型低复杂性算法，命名为$ {\ tt lyon} $，并证明它以$ k $武器实现$ o（\ sqrt {kb \ log b}）$后悔和零约束 - 当$ B $足够大时。 $ {\ tt lyon} $的计算成本和尖锐性能界限表明，基于Lyapunov的算法设计方法可以有效地解决受约束的强盗优化问题。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。