由于需要捕捉用户的不断发展的兴趣并优化他们的长期体验，越来越多的推荐系统已经开始模拟推荐作为马尔可夫决策过程，并采用加强学习来解决问题。不应该研究推荐系统的公平性遵循静态评估的相同趋势和一次性干预动态监测和不间断控制吗？在本文中，我们首先描绘了最新的推荐系统的发展，然后讨论了如何烘焙进入强化学习技术以供推荐。此外，我们认为，为了进一步进一步进展，建议公平，我们可能希望考虑多方代（游戏理论）优化，多目标（Pareto）优化和基于仿真的优化，在随机的一般框架中游戏。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

具有提供商端公平关注的公平意识的推荐系统寻求确保受保护的提供者有公平的机会来推广其物品或产品。当实施这种解决方案时，互动的消费者端将``公平成本''承担的``公平成本''。这种消费者端成本提出了自己的公平问题，尤其是当使用个性化来控制公平限制的影响时。在采用个性化方法来实现公平目标时，研究人员可能会为用户的战略行为开放系统。在``Bossiness''的术语下的计算社会选择文献中已经研究了这种激励措施。担心的是，专横的用户可能能够将公平成本转移给他人，改善自己的结果并为他人恶化。该立场论文介绍了保障的概念，显示了其在公平意识的建议中的应用，并讨论了减少这种战略激励措施的策略。

Current advances in recommender systems have been remarkably successful in optimizing immediate engagement. However, long-term user engagement, a more desirable performance metric, remains difficult to improve. Meanwhile, recent reinforcement learning (RL) algorithms have shown their effectiveness in a variety of long-term goal optimization tasks. For this reason, RL is widely considered as a promising framework for optimizing long-term user engagement in recommendation. Despite being a promising approach, the application of RL heavily relies on well-designed rewards, but designing rewards related to long-term user engagement is quite difficult. To mitigate the problem, we propose a novel paradigm, Preference-based Recommender systems (PrefRec), which allows RL recommender systems to learn from preferences about users' historical behaviors rather than explicitly defined rewards. Such preferences are easily accessible through techniques such as crowdsourcing, as they do not require any expert knowledge. With PrefRec, we can fully exploit the advantages of RL in optimizing long-term goals, while avoiding complex reward engineering. PrefRec uses the preferences to automatically train a reward function in an end-to-end manner. The reward function is then used to generate learning signals to train the recommendation policy. Furthermore, we design an effective optimization method for PrefRec, which uses an additional value function, expectile regression and reward model pre-training to improve the performance. Extensive experiments are conducted on a variety of long-term user engagement optimization tasks. The results show that PrefRec significantly outperforms previous state-of-the-art methods in all the tasks.

到目前为止，大多数关于推荐系统的研究专注于通过促进相关和个性化内容维持长期用户参与和满足感。但是，评估这种内容的质量和可靠性仍然非常具有挑战性。在本文中，我们提出了FEBR（基于专家的建议框架），是评估在线平台上建议内容的质量的学徒学习框架。该框架在推荐评估环境中挖掘专家（假设可靠）的演示轨迹，以恢复未知的实用程序功能。此功能用于学习描述专家行为的最佳策略，然后在框架中使用，以提供高质量和个性化的建议。我们通过用户兴趣模拟环境（使用RECSIM）评估我们的解决方案的性能。我们模拟了上述专家政策下的互动，以进行视频推荐，并将其效率与标准推荐方法进行比较。结果表明，我们的方法在内容质量方面提供了显着的收益，由专家评估并由用户观察，同时保持与基线方法几乎相同的表格。

在本文中，我们为游戏制定了一个推荐系统，该游戏为基于他们的互动行为来说潜在的物品，以最大限度地为游戏提供商的收入最大限度地提高。我们的方法是基于强化学习的技术构建，并在IEEE大数据杯挑战上公开可用的离线数据集培训。离线数据集的限制和高维数的诅咒构成解决这个问题的重要障碍。我们所提出的方法侧重于通过解决这些主要困难来提高全面奖励和表现。更具体地，我们利用稀疏PCA来提取用户行为的重要特征。然后，我们的Q学习系统从已加工的离线数据集培训。要利用所提供的数据集中的所有可能的信息，我们将用户功能群集到不同的组，并为每个组构建一​​个独立的Q-table。此外，为了解决评估指标的未知公式的挑战，我们设计了根据游戏提供商可能实现的潜在价值和我们从Live评分环境获得的实际评估指标的小集合的潜在价值自我评估的公制。我们的实验表明，我们的拟议度量标准与挑战组织者发表的结果一致。我们已经实施了拟议的培训管道，结果表明，我们的方法在总奖励和训练速度方面优于当前最先进的方法。通过解决主要挑战并利用最先进的技术，我们已经取得了最佳的公共排行榜导致挑战。此外，我们所提出的方法达到估计得分约为20％，并且可以比当前最先进的方法的最佳最佳方法更快地培训30倍。

高赌注域的机器学习模型制作的算法决策可能随着时间的推移而持久影响。不幸的是，静态环境中的标准公平标准的天真在时间域中的静态设置可能导致延迟和不利影响。要了解性能差异的动态，我们研究马尔可夫决策过程（MDP）的公平问题。具体而言，我们提出了返回奇偶校验，这是一个公平的概念，需要来自不同的人口统计组的MDP，这些组共享相同的状态和行动空间，以实现大致相同的预期折扣奖励。我们首先为返回差异提供分解定理，它将任何两个MDP的返回差异分解为组明智奖励函数，组政策的差异的差异，以及组政策所引起的国家探索分布之间的差异。通过我们的分解定理激励，我们提出了通过使用积分概率度量的状态探索分布对齐进行共享组策略来减轻返回差异的算法。我们进行实验以证实我们的结果，表明该算法可以成功地关闭视差差距，同时保持对两个现实世界推荐系统基准数据集的策略性能。

如今，可以在许多电子商务平台上找到自动建议，并且此类建议可以为消费者和提供商创造巨大的价值。但是，通常并非所有推荐的物品都具有相同的利润率，因此，提供商可能会诱使促进最大化其利润的项目。在短期内，消费者可能会接受非最佳建议，但从长远来看，他们可能会失去信任。最终，这导致了设计平衡推荐策略的问题，这些策略既考虑消费者和提供商的价值，并带来持续的业务成功。这项工作提出了一个基于基于代理的建模的仿真框架，旨在帮助提供者探索不同推荐策略的纵向动态。在我们的模型中，消费者代理人收到了提供者的建议，并且建议的质量随着时间的推移影响消费者的信任。我们设计了几种推荐策略，可以使提供商的利润更大，或者对消费者公用事业。我们的模拟表明，一种混合​​策略会增加消费者公用事业的权重，但没有忽略盈利能力，从长远来看会导致累计利润最高。与纯粹的消费者或面向利润的策略相比，这种混合策略的利润增加了约20％。我们还发现，社交媒体可以加强观察到的现象。如果消费者严重依赖社交媒体，最佳战略的累积利润进一步增加。为了确保可重复性并培养未来的研究，我们将公开共享我们的灵活模拟框架。

工业推荐系统处理极大的行动空间 - 许多数百万的项目推荐。此外，他们需要为数十亿用户服务，他们在任何时间点都是独一无止的，制作复杂的用户状态空间。幸运的是，可以学习大量记录的隐式反馈（例如，用户点击，停留时间）。然而，从记录的反馈中学习，才受到仅通过以前版本的推荐器选择的建议的反馈而导致的偏差。在这项工作中，我们展示了在YouTube的生产Top-K推荐系统中解决此类偏差的一般配方，以策略梯度为基础的算法，即加强。本文的贡献是：（1）缩放到生产推荐系统，以数百万的订单为行动空间; （2）申请违规纠正以解决从多种行为策略收集的记录反馈中学习数据偏差; （3）提出新的Top-K违规纠正，以占我们的政策一次推荐多个项目; （4）展示勘探的价值。我们展示了我们通过一系列模拟和youtube上的多个实时实验的方法。

排名已成为双面在线市场的主要界面。许多人指出，排名不仅影响用户的满意度（例如，客户，听众，雇主，旅行者），而且排名中的位置将曝光率分配给排名项目（例如，例如文章，产品，歌曲，求职者，餐馆，酒店）。这已经提出了对项目的公平性问题，大多数现有作品通过将项目的暴露与项目相关性明确链接在一起，从而解决了公平性。但是，我们认为，这种链接功能的任何特定选择都可能很难捍卫，我们表明结果排名仍然不公平。为了避免这些缺点，我们开发了一种植根于公平分裂原则的新的公理方法。这不仅避免了选择链接功能的需求，而且更有意义地量化了对曝光范围之外的项目的影响。我们对统一排名的嫉妒性和主导地位的公理假设，对于公平排名政策，每个项目都应该比其他任何项目的排名分配，并且任何项目都不应受到排名的不利影响。为了计算按照这些公理的公平政策，我们提出了一个与纳什社会福利有关的新排名目标。我们表明，该解决方案已保证其嫉妒性，其对每个项目的统一排名的主导地位以及帕累托的最优性。相比之下，我们表明，基于暴露的公平性可以产生大量嫉妒，并对这些物品产生高度不同的影响。除了这些理论上的结果外，我们还从经验上说明了我们的框架如何控制基于影响的个人项目公平和用户实用程序之间的权衡。

推荐系统（RS）是一个重要的在线应用程序，每天都会影响数十亿个用户。主流RS排名框架由两个部分组成：多任务学习模型（MTL），该模型可预测各种用户反馈，即点击，喜欢，分享和多任务融合模型（MTF），该模型（MTF）结合了多任务就用户满意度而言，输出分为最终排名得分。关于融合模型的研究并不多，尽管它对最终建议作为排名的最后一个关键过程有很大的影响。为了优化长期用户满意度，而不是贪婪地获得即时回报，我们将MTF任务作为Markov决策过程（MDP），并在推荐会话中提出，并建议基于批处理加固学习（RL）基于多任务融合框架（BATCHRL-MTF）包括批处理RL框架和在线探索。前者利用批处理RL从固定的批处理数据离线学习最佳推荐政策，以达到长期用户满意度，而后者则探索了潜在的高价值动作在线，以突破本地最佳难题。通过对用户行为的全面调查，我们通过从用户粘性和用户活动性的两个方面的微妙启发式方法对用户满意度进行了建模。最后，我们对十亿个样本级别的现实数据集进行了广泛的实验，以显示模型的有效性。我们建议保守的离线政策估计器（保守 - 访问器）来测试我们的模型离线。此外，我们在真实推荐环境中进行在线实验，以比较不同模型的性能。作为成功在MTF任务中应用的少数批次RL研究之一，我们的模型也已部署在一个大规模的工业短视频平台上，为数亿用户提供服务。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

In an era of countless content offerings, recommender systems alleviate information overload by providing users with personalized content suggestions. Due to the scarcity of explicit user feedback, modern recommender systems typically optimize for the same fixed combination of implicit feedback signals across all users. However, this approach disregards a growing body of work highlighting that (i) implicit signals can be used by users in diverse ways, signaling anything from satisfaction to active dislike, and (ii) different users communicate preferences in different ways. We propose applying the recent Interaction Grounded Learning (IGL) paradigm to address the challenge of learning representations of diverse user communication modalities. Rather than taking a fixed, human-designed reward function, IGL is able to learn personalized reward functions for different users and then optimize directly for the latent user satisfaction. We demonstrate the success of IGL with experiments using simulations as well as with real-world production traces.

由于越来越多的用户使用它们来寻求和决策，推荐制度对人类和社会的影响增加了对人类和社会的影响。因此，在建议中解决潜在的不公平问题至关重要。就像用户在物品上具有个性化的偏好，用户对公平性的要求也是个性化的许多情况。因此，为用户提供个性化的公平建议，以满足其个性化的公平需求。此外，以前的公平建议作品主要关注基于关联的公平性。但是，重要的是从联合公平概念前进，以便在推荐系统中更适当地评估公平性的因果公平概念。本文根据上述考虑，侧重于为推荐系统中的用户实现个性化的反事实公平。为此，我们介绍了一个框架，通过对建议产生特征 - 独立的用户嵌入来实现通过对抗学习来实现反转公平的建议。该框架允许推荐系统为用户实现个性化的公平，同时也涵盖非个性化情况。在浅层和深刻的推荐算法上的两个现实数据集的实验表明，我们的方法可以为具有理想的推荐性能的用户生成更公平的建议。

本文介绍了寻求信息（是）任务，概念和算法的信息重新分类。拟议的分类系统提供了新的维度，以研究寻求任务和方法的信息。新尺寸包括搜索迭代，搜索目标类型和程序的数量，以实现这些目标。寻求任务的信息沿着这些尺寸呼叫合适的计算解决方案的差异。然后，该文章评论了符合每个新类别的机器学习解决方案。该论文结束了对系统的评估活动进行了审查。

组合推荐人（CR）系统一次在结果页面中一次将项目列表馈送给用户，其中用户行为受到上下文信息和项目的影响。 CR被称为组合优化问题，目的是最大程度地提高整个列表的建议奖励。尽管它很重要，但由于在线环境中的效率，动态和个性化要求，建立实用的CR系统仍然是一个挑战。特别是，我们将问题分为两个子问题，即列表生成和列表评估。新颖和实用的模型体系结构是为这些子问题设计的，旨在共同优化有效性和效率。为了适应在线案例，给出了形成参与者批判性增强框架的自举算法，以探索在长期用户互动中更好的推荐模式。离线和在线实验结果证明了拟议的JDREC框架的功效。 JDREC已应用于在线JD建议中，将点击率提高了2.6％，平台的合成价值提高了5.03％。我们将发布本研究中使用的大规模数据集，以为研究界做出贡献。

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

虽然传统的排名系统仅关注最大化排名项目的效用，但公平感知的排名系统另外尝试平衡不同保护属性（如性别或种族）的曝光。为了实现这种类型的排名，我们基于分布鲁棒性的第一个原则推导出新的排名系统。我们在选择分布的球员之间制定最小的游戏，以最大限度地提高实用程序，同时满足公平的限制，针对对攻击性匹配统计训练数据的统计数据来最小化实用性。我们表明，我们的方法提供比现有基线方法高度公平的排名更好的效用。

推荐系统（RSS）旨在帮助用户从大型目录中有效检索其兴趣的项目。在很长一段时间内，研究人员和从业人员一直专注于开发准确的RSS。近年来，来自攻击，系统和用户产生的噪音，系统偏见的RSS威胁越来越多。结果，很明显，严格关注RS准确性是有限的，研究必须考虑其他重要因素，例如值得信赖。对于最终用户而言，值得信赖的RS（TRS）不仅应该是准确的，而且应该是透明，无偏见，公平的，并且对噪音或攻击也有牢固的态度。这些观察结果实际上导致了RSS研究的范式转移：从面向准确的RSS到TRS。但是，研究人员缺乏对这一小说和快速发展的TRS领域中文献的系统概述和讨论。为此，在本文中，我们提供了TRS的概述，包括讨论TRS的动机和基本概念，构建TRS的挑战的介绍以及该领域未来方向的观点。我们还提供了一个新颖的概念框架来支持TRS的构建。

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。