在本文中，我们介绍了对非对称确定点处理（NDPP）的在线和流媒体地图推断和学习问题，其中数据点以任意顺序到达，并且算法被约束以使用单次通过数据以及子线性存储器。在线设置有额外要求在任何时间点维护有效的解决方案。为了解决这些新问题，我们提出了具有理论担保的算法，在几个真实的数据集中评估它们，并显示它们对最先进的离线算法提供了可比的性能，该算法将整个数据存储在内存中并采取多次传递超过它。

确定点过程（DPP）是一个优雅的模型，可以为$ n $项目集合的每个子集分配概率。虽然传统上，DPP由对称内核矩阵进行参数化，从而消除了对称约束，从而导致非对称DPP（NDPP），从而导致建模功率和预测性能的显着改善。最近的工作研究了Markov Chain Monte Carlo（MCMC）对NDPPS的采样算法，该算法仅限于Size-$ K $子集（称为$ K $ -NDPPS）。但是，这种方法的运行时间在$ n $中是二次的，因此对于大规模设置而言，它是不可行的。在这项工作中，我们为$ k $ -ndpps提供了可扩展的MCMC采样算法，并具有低级内核，从而使运行时具有sublinear，in $ n $。我们的方法基于一种最新的NDPP排斥抽样算法，我们通过一种有效构建建议分布的新方法来增强该算法。此外，我们将可扩展的$ K $ -NDPP采样算法扩展到没有大小约束的情况下。我们最终的采样方法在内核等级中具有多项式时间复杂性，而现有方法的运行时为指数在等级中。通过对现实世界数据集的理论分析和实验，我们验证我们的可扩展近似采样算法比现有的$ k $ -ndpps和ndpps的现有采样方法快的阶数。

在机器学习中最大化的是一项基本任务，在本文中，我们研究了经典的Matroid约束下的删除功能强大版本。在这里，目标是提取数据集的小尺寸摘要，即使在对手删除了一些元素之后，该数据集包含高价值独立集。我们提出了恒定因素近似算法，其空间复杂性取决于矩阵的等级$ k $和已删除元素的数字$ d $。在集中式设置中，我们提出$（4.597+o（\ varepsilon））$ - 近似算法，带有摘要大小$ o（\ frac {k+d} {\ varepsilon^2} \ log \ log \ frac \ frac {k} }）$将$（3.582 + o（\ varepsilon））$（k + \ frac {d} {\ varepsilon^2} \ log \ frac {k} {k} {\ varepsilon}） $摘要大小是单调的。在流设置中，我们提供$（9.435 + o（\ varepsilon））$ - 带有摘要大小和内存$ o的近似算法$（k + \ frac {d} {\ varepsilon^2} \ log \ log \ frac {k} {k} {k} {k} {k} {k} { \ varepsilon}）$;然后，将近似因子提高到单调盒中的$（5.582+o（\ varepsilon））$。

确定点过程（DPP）的最大后验（MAP）推断对于在许多机器学习应用中选择多种项目至关重要。尽管DPP地图推断是NP-HARD，但贪婪的算法通常会发现高质量的解决方案，许多研究人员已经研究了其有效的实施。一种经典且实用的方法是懒惰的贪婪算法，适用于一般的下函数最大化，而基于Cholesky的最新快速贪婪算法对于DPP MAP推断更有效。本文介绍了如何结合“懒惰”和“快速”的想法，这些思想在文献中被认为是不兼容的。我们懒惰且快速的贪婪算法与当前最好的算法几乎具有相同的时间复杂性，并且在实践中运行速度更快。 “懒惰 +快速”的想法可扩展到其他贪婪型算法。我们还为无约束的DPP地图推断提供了双贪婪算法的快速版本。实验验证了我们加速思想的有效性。

多样性最大化是数据汇总，Web搜索和推荐系统中广泛应用的基本问题。给定$ n $元素的$ x $元素，它要求选择一个$ k \ ll n $元素的子集$ s $，具有最大\ emph {多样性}，这是由$ s $中元素之间的差异量化的。在本文中，我们关注流媒体环境中公平限制的多样性最大化问题。具体而言，我们考虑了最大值的多样性目标，该目标选择了一个子集$ s $，该子集$ s $最大化了其中任何一对不同元素之间的最小距离（不同）。假设集合$ x $通过某些敏感属性（例如性别或种族）将$ m $ discoint组分为$ m $ discoint组，确保\ emph {fairness}要求所选的子集$ s $包含每个组$ i的$ k_i $ e元素\在[1，m] $中。流算法应在一个通过中顺序处理$ x $，并返回具有最大\ emph {多样性}的子集，同时保证公平约束。尽管对多样性的最大化进行了广泛的研究，但唯一可以与最大值多样性目标和公平性约束的唯一已知算法对数据流非常低效。由于多样性最大化通常是NP-HARD，因此我们提出了两个在数据流中最大化的公平多样性的近似算法，其中第一个是$ \ frac {1- \ varepsilon} {4} {4} $ - 近似于$ m = 2 $，其中$ \ varepsilon \ in（0,1）$，第二个实现了$ \ frac {1- \ varepsilon} {3m+2} $ - 任意$ m $的近似值。现实世界和合成数据集的实验结果表明，两种算法都提供了与最新算法相当的质量解决方案，同时在流式设置中运行多个数量级。

在随着时间变化的组合环境中的在线决策激励，我们研究了将离线算法转换为其在线对应物的问题。我们专注于使用贪婪算法对局部错误的贪婪算法进行恒定因子近似的离线组合问题。对于此类问题，我们提供了一个通用框架，该框架可有效地将稳健的贪婪算法转换为使用Blackwell的易近算法。我们证明，在完整信息设置下，由此产生的在线算法具有$ O（\ sqrt {t}）$（近似）遗憾。我们进一步介绍了Blackwell易接近性的强盗扩展，我们称之为Bandit Blackwell的可接近性。我们利用这一概念将贪婪的稳健离线算法转变为匪（t^{2/3}）$（近似）$（近似）的遗憾。展示了我们框架的灵活性，我们将脱机之间的转换应用于收入管理，市场设计和在线优化的几个问题，包括在线平台中的产品排名优化，拍卖中的储备价格优化以及supperular tossodular最大化。 。我们还将还原扩展到连续优化的类似贪婪的一阶方法，例如用于最大化连续强的DR单调下调功能，这些功能受到凸约束的约束。我们表明，当应用于这些应用程序时，我们的转型会导致新的后悔界限或改善当前已知界限。我们通过为我们的两个应用进行数值模拟来补充我们的理论研究，在这两种应用中，我们都观察到，转换的数值性能在实际情况下优于理论保证。

我们研究动态算法，以便在$ N $插入和删除流中最大化单调子模块功能的问题。我们显示任何维护$（0.5+ epsilon）$ - 在基数约束下的近似解决方案的算法，对于任何常数$ \ epsilon> 0 $，必须具有$ \ mathit {polynomial} $的摊销查询复杂性$ n $。此外，需要线性摊销查询复杂性，以维持0.584美元 - 批量的解决方案。这与近期[LMNF + 20，MON20]的最近动态算法相比，达到$（0.5- \ epsilon）$ - 近似值，与$ \ mathsf {poly} \ log（n）$摊销查询复杂性。在正面，当流是仅插入的时候，我们在基数约束下的问题和近似的Matroid约束下提供有效的算法，近似保证$ 1-1 / e-\ epsilon $和摊销查询复杂性$ \ smash {o （\ log（k / \ epsilon）/ \ epsilon ^ 2）} $和$ \ smash {k ^ {\ tilde {o}（1 / \ epsilon ^ 2）} \ log n} $，其中$ k $表示基数参数或Matroid的等级。

在线二手匹配是在线算法中的一个基本问题。目的是匹配两组顶点，以最大化边缘权重的总和，在该顶点中，对于一组顶点，每个顶点及其相应的边缘重量以序列形式出现。当前，在实际的建议系统或搜索引擎中，权重是由用户的深度表示与项目深度表示之间的内部产品决定的。标准的在线匹配需要支付$ nd $的时间来线性扫描所有$ n $项目，计算重量（假设每个表示向量都有长度$ d $），然后根据权重决定匹配。但是，实际上，$ n $可能很大，例如在在线电子商务平台中。因此，改善计算权重的时间是一个实践意义的问题。在这项工作中，我们为大约计算权重的理论基础提供了基础。我们表明，借助我们提出的随机数据结构，可以在额定时间内计算权重，同时仍保留匹配算法的竞争比率。

大规模监督学习中的共同挑战是如何利用新的增量数据到预先训练的模型，而无需从头开始重新培训模型。受到这个问题的激励，我们重新审视动态最小二乘回归（LSR）的规范问题，其中目标是通过增量训练数据学习线性模型。在此设置，数据和标签$（\ mathbf {a} ^ {（t）}，\ mathbf {b} ^ {（t）}）\ in \ mathbb {r} ^ {t \ times d} \ times \ MathBB {R} ^ T $以在线方式发展（$ t \ gg d $），目标是有效地将（近似）解决方案保持为$ \ min _ {\ mathbf {x} ^ {（t）}} \ | \ mathbf {a} ^ {（t）} \ mathbf {x} ^ {（t）} - \ mathbf {b} ^ {（t）} \ | \ | \ |在$中的所有$ t \。我们的主要结果是一种动态数据结构，它将任意小的恒定近似解，与摊销更新时间$ o（d ^ {1 + o（1）}）$，几乎匹配静态的运行时间（草图 - 基于）解决方案。相比之下，对于精确的（甚至$ 1 / \ mathrm {poly}（n）$ - 准确性）解决方案，我们在静态和动态设置之间显示了分离，即动态LSR需要$ \ω（d ^ {2- O（1）}）OMV猜想下的摊销更新时间（Henzinger等，STOC'15）。我们的数据结构在概念上简单，易于实施，并且在理论和实践中快速速度，通过对合成和现实世界数据集的实验进行了证实。

单调可行的算法的开发，受基数约束（SMCC）的基本最大化产生了两个单独的研究方向：具有低自适应复杂性的集中算法，需要随机访问整个数据集；并分布式MAPREDUCE（MR）模型算法，这些算法使用少量的MR回合计算。目前，众所周知，没有MR Model算法使用均值的自适应回合，从而限制了其实际性能。我们在分布式设置中研究了SMCC问题，并介绍了三种单独的MR模型算法，这些算法在分布式设置中引入了sublinear适应性。我们的主要算法，Dash实现了$ \ frac {1} {2} {2}（1-1/e- \ varepsilon）$的近似值，而使用一个MR圆形，而其多轮变体元数据启用MR模型算法可以在大型上运行。以前不可能的基数约束。使用一个和$（$ \ frac {3} {8} {8} - \ varepsilon $）和（$ 1-1/e- \ varepsilon $）的两种附加算法T-DASH和G-DASH提供了改进的比率为（$ \ frac {3} {8} - \ varepsilon $） 1/\ Varepsilon）$ MR ROUNDS。我们所有提出的算法都具有肌关系的自适应复杂性，我们提供了广泛的经验证据来确定：仪表率是比最先进的分布式算法快的数量级，同时产生了几乎相同的溶液值；并验证仪表板在集中和分布式数据上获得可行解决方案时的多功能性。

我们研究了\ textit {在线}低率矩阵完成的问题，并使用$ \ mathsf {m} $用户，$ \ mathsf {n} $项目和$ \ mathsf {t} $ rounds。在每回合中，我们建议每个用户一项。对于每个建议，我们都会从低级别的用户项目奖励矩阵中获得（嘈杂的）奖励。目的是设计一种以下遗憾的在线方法（以$ \ mathsf {t} $）。虽然该问题可以映射到标准的多臂强盗问题，其中每个项目都是\ textit {独立}手臂，但由于没有利用武器和用户之间的相关性，因此遗憾会导致遗憾。相比之下，由于低级别的歧管的非凸度，利用奖励矩阵的低排列结构是具有挑战性的。我们使用探索-Commit（etc）方法克服了这一挑战，该方法确保了$ O（\ Mathsf {polylog}（\ Mathsf {m}+\ \ \ \ \ Mathsf {n}）\ Mathsf {t}^{2/2/ 3}）$。 That is, roughly only $\mathsf{polylog} (\mathsf{M}+\mathsf{N})$ item recommendations are required per user to get non-trivial solution.我们进一步改善了排名$ 1 $设置的结果。在这里，我们提出了一种新颖的算法八进制（使用迭代用户群集的在线协作过滤），以确保$ O（\ Mathsf {polylog}（\ Mathsf {M}+\ Mathsf {N}）几乎最佳的遗憾。 ^{1/2}）$。我们的算法使用了一种新颖的技术，可以共同和迭代地消除项目，这使我们能够在$ \ Mathsf {t} $中获得几乎最小的最佳速率。

许多顺序决策问题可以作为自适应的下管最大化问题。但是，该领域中的大多数现有研究都集中在基于池的设置上，在该设置中，人们可以按任何顺序选择项目，而对于基于流的设置，项目以任意顺序到达，并且必须立即确定是否可以立即决定在到达时选择或不选择项目。在本文中，我们介绍了一类新的实用程序功能，即半准时函数。我们开发了一系列有效的算法，以最大程度地提高基于流的设置下的半脉冲下函数。

我们给出了一种基于草图的迭代算法，该算法计算$ 1 +\ varepsilon $近似解决方案，用于脊回归问题$ \ min_x \ | ax-b \ | ax-b \ | _2^2 +\ lambda \ lambda \ | x \ | x \ | _2^2 $ were $ a \ in r^{n \ times d} $带有$ d \ ge n $。我们的算法对于恒定数量的迭代（需要输入量的恒定通过），通过要求素描矩阵仅具有较弱的近似矩阵乘法（AMM）保证，可以改善早期工作（Chowdhury等人）（Chowdhury等人）。在$ \ varepsilon $上，以及恒定的子空间嵌入保证。相反，较早的工作要求素描矩阵具有取决于$ \ varepsilon $的子空间嵌入保证。例如，要在$ 1 $迭代中生产$ 1+\ varepsilon $近似解决方案，需要$ 2 $通过输入，我们的算法需要OSNAP嵌入$ m = o（n \ sigma^2/\ lambda \ lambda \ varepsilon \ varepsilon ）带有稀疏参数$ s = o（\ log（n））$的$行，而Chowdhury等人的早期算法。使用相同数量的OSNAP行需要稀疏$ s = o（\ sqrt {\ sigma^2/\ lambda \ varepsilon} \ cdot \ log（n））$，其中$ \ sigma = \ opnorm = \ opnorm {a}是矩阵$ a $的光谱规范。我们还表明，该算法可用于为内核脊回归提供更快的算法。最后，我们表明，我们的算法所需的草图大小实质上对于山脊回归算法的自然框架实质上是最佳的，它通过证明AMM的遗漏素描矩阵上的下限。 AMM的草图大小的下限可能具有独立的兴趣。

在机器学习，游戏理论和控制理论中解决各种应用，极限优化已经是中心。因此，目前的文献主要集中于研究连续结构域中的这些问题，例如，凸凹minalax优化现在在很大程度上被理解。然而，最小的问题远远超出连续域以混合连续离散域或甚至完全离散域。在本文中，我们研究了混合连续离散的最小问题，其中最小化在属于欧几里德空间的连续变量上，最大化是在给定地面集的子集上。我们介绍了凸子蒙皮最小新的类问题，其中物镜相对于连续变量和子模块相对于离散变量凸出。尽管这些问题在机器学习应用中经常出现，但对于如何从算法和理论观点来解决它们的知之甚少。对于此类问题，我们首先表明获得鞍点难以达到任何近似，因此引入了（近）最优性的新概念。然后，我们提供了若干算法程序，用于解决凸且单调 - 子模块硬币问题，并根据我们最佳的概念来表征其收敛率，计算复杂性和最终解决方案的质量。我们所提出的算法迭代并组合离散和连续优化的工具。最后，我们提供了数字实验，以展示我们所用方法的有效性。

顺序决策中的一个核心问题是开发实用且计算上有效的算法，但支持灵活的通用模型的使用。关注上下文匪徒问题，最近的进度在可能的替代品数量（“动作”）很小时提供了可证明的有效算法，并具有很强的经验性能，但是在大型，连续的行动空间中进行决策的保证仍然难以捉摸，导致了重要的重要性理论与实践之间的差距。我们介绍了具有连续线性结构化作用空间的上下文匪徒的第一个有效的通用算法。我们的算法利用了（i）监督学习的计算序列，以及（ii）在动作空间上进行优化，并实现样本复杂性，运行时和内存，独立于动作空间的大小。此外，这是简单而实用的。我们进行大规模的经验评估，并表明我们的方法通常比标准基准相比具有较高的性能和效率。

对于最大化单调的问题，子模块功能相对于基数限制为$ K $ k $ k $ k $ $ n $ n $，我们提供了一种在其经验性能和其上实现最先进的算法理论属性，就适应性复杂性，查询复杂性和近似率而言;也就是说，它获得了高概率，查询复杂度$ O（n）$的期望，适应$ o（\ log（n））$，近似1-1 / e $的近似比。主要算法由可能是独立兴趣的两个组件组装。我们的算法的第一个组件LineArseq，可用作提高许多算法的查询复杂性的预处理算法。此外，LineArseq的变体显示为具有O $ O（n / k））$的自适应复杂性，其小于文献中的任何先前算法的自适应复杂性。第二组件是一个并行阈值处理过程阈值问题，用于添加具有高于恒定阈值的增益的元素。最后，我们展示了我们的主要算法在运行时，自适应轮次，总查询和客观值方面经验胜过，以前的最先进的算法，以六个子模块物理函数快速评估。

Evolutionary algorithms (EAs) are general-purpose optimization algorithms, inspired by natural evolution. Recent theoretical studies have shown that EAs can achieve good approximation guarantees for solving the problem classes of submodular optimization, which have a wide range of applications, such as maximum coverage, sparse regression, influence maximization, document summarization and sensor placement, just to name a few. Though they have provided some theoretical explanation for the general-purpose nature of EAs, the considered submodular objective functions are defined only over sets or multisets. To complement this line of research, this paper studies the problem class of maximizing monotone submodular functions over sequences, where the objective function depends on the order of items. We prove that for each kind of previously studied monotone submodular objective functions over sequences, i.e., prefix monotone submodular functions, weakly monotone and strongly submodular functions, and DAG monotone submodular functions, a simple multi-objective EA, i.e., GSEMO, can always reach or improve the best known approximation guarantee after running polynomial time in expectation. Note that these best-known approximation guarantees can be obtained only by different greedy-style algorithms before. Empirical studies on various applications, e.g., accomplishing tasks, maximizing information gain, search-and-tracking and recommender systems, show the excellent performance of the GSEMO.

我们研究在线交互式强盗设置中的非模块化功能。我们是受到某些元素之间自然互补性的应用程序的动机：这仅使用只能代表元素之间竞争力的下函数来表达这一点。我们通过两种方式扩展了纯粹的下二次方法。首先，我们假设该物镜可以分解为单调下模量和超模块函数的总和，称为BP物镜。在这里，互补性自然是由超模型成分建模的。我们开发了UCB风格的算法，在每一轮比赛中，在采取行动以平衡对未知目标（探索）和选择似乎有希望的行动（剥削）的行动之间揭示的嘈杂收益。根据全知识的贪婪基线来定义遗憾和超模块化曲率，我们表明该算法最多可以在$ o（\ sqrt {t}）$ hore $ t $ t $ t $ the $ t $ t $ the $ t $ t $ the $ the。其次，对于那些不承认BP结构的功能，我们提供了类似的遗憾保证，从其表现比率角度来看。这适用于几乎但不完全是子模型的功能。我们在数值上研究了Movielens数据集上电影推荐的任务，并选择用于分类的培训子集。通过这些示例，我们证明了该算法的性能以及将这些问题视为单次生管的缺点。

从大型套装中选择不同的和重要的项目，称为地标是机器学习兴趣的问题。作为一个具体示例，为了处理大型训练集，内核方法通常依赖于基于地标的选择或采样的低等级矩阵NYSTR \“OM近似值。在此上下文中，我们提出了一个确定性和随机的自适应算法在培训数据集中选择地标点。这些地标与克尼利克里斯特步函数序列的最小值有关。除了ChristOffel功能和利用分数之间的已知联系，我们的方法也有限决定性点过程（DPP）也是如此解释。即，我们的建设以类似于DPP的方式促进重要地标点之间的多样性。此外，我们解释了我们的随机自适应算法如何影响内核脊回归的准确性。

信号处理和机器学习中的许多问题都可以正面被形式化为弱子模块优化任务。对于此类问题，保证了一种简单的贪婪算法（\ textsc {greedy}），以找到实现目标的解决方案，其中值不到1-e ^ { - 1 / c} $的最佳值，其中$ c $乘法弱潜水解度常数。由于查询大规模系统的高成本，在当代应用中，\ Textsc {贪婪}的复杂性变得令人望而却步。在这项工作中，我们研究了随机采样策略的绩效和复杂性之间的权衡，以减少\ textsc的查询复杂性{greedy}。具体而言，我们通过两个度量来量化统一采样策略对\ textsc {贪婪}的性能的影响：（i）识别最佳子集的概率，（ii）相对于最佳解决方案的次优。后者意味着具有固定采样尺寸的均匀采样策略实现了非平凡的近似因子;但是，我们表明，通过压倒性概率，这些方法无法找到最佳子集。我们的分析表明，通过连续增加搜索空间的大小，可以避免具有固定样本大小的均匀采样策略的失败。建立这种洞察力，我们提出了一种简单的渐进式随机贪婪算法，并研究其近似保证。此外，我们展示了提出的方法在维度减少应用中的提出方法以及用于聚类和对象跟踪的特征选择任务。