设计为与时间变化的偏好保持一致的内容的推荐系统需要正确地计算建议对人类行为和心理状况的反馈影响。我们认为，建模建议对人们偏好的影响必须基于心理合理的模型。我们为开发接地动态偏好模型提供了一种方法。我们通过模型来证明这种方法，这些模型从心理学文献中捕获了三种经典效果：裸露，操作条件和享乐调整。我们进行基于仿真的研究，以表明心理模型表现出可以为系统设计提供信息的不同行为。我们的研究对建议系统中的动态用户建模有两个直接影响。首先，我们概述的方法广泛适用于心理基础动态偏好模型。它使我们能够根据他们对心理基础及其难以置信的预测的有限讨论来批评最近的贡献。其次，我们讨论动态偏好模型对建议系统评估和设计的含义。在一个示例中，我们表明参与度和多样性指标可能无法捕获理想的建议系统性能。

如今，可以在许多电子商务平台上找到自动建议，并且此类建议可以为消费者和提供商创造巨大的价值。但是，通常并非所有推荐的物品都具有相同的利润率，因此，提供商可能会诱使促进最大化其利润的项目。在短期内，消费者可能会接受非最佳建议，但从长远来看，他们可能会失去信任。最终，这导致了设计平衡推荐策略的问题，这些策略既考虑消费者和提供商的价值，并带来持续的业务成功。这项工作提出了一个基于基于代理的建模的仿真框架，旨在帮助提供者探索不同推荐策略的纵向动态。在我们的模型中，消费者代理人收到了提供者的建议，并且建议的质量随着时间的推移影响消费者的信任。我们设计了几种推荐策略，可以使提供商的利润更大，或者对消费者公用事业。我们的模拟表明，一种混合​​策略会增加消费者公用事业的权重，但没有忽略盈利能力，从长远来看会导致累计利润最高。与纯粹的消费者或面向利润的策略相比，这种混合策略的利润增加了约20％。我们还发现，社交媒体可以加强观察到的现象。如果消费者严重依赖社交媒体，最佳战略的累积利润进一步增加。为了确保可重复性并培养未来的研究，我们将公开共享我们的灵活模拟框架。

考虑在线学习算法同时做出决策并从反馈中学习。此类算法被广泛部署在产品和数字内容的推荐系统中。本文展示了在线学习算法偏见的偏低替代方案，以及它如何塑造建议系统的需求。首先，我们考虑$ k $武装的土匪。我们证明，$ \ varepsilon $ - 果岭选择一个无风险的手臂，而不是一个具有均等预期奖励的风险臂，概率是任意接近一个的概率。这是对不良奖励估计的武器采样的结果。通过实验，我们表明其他在线学习算法也表现出风险规避。在推荐系统环境中，我们表明，该算法对用户的嘈杂奖励减少的内容受到算法的青睐。结合使战略内容创建者朝着相似的预期质量的内容驱动战略性创建者的平衡力，对内容的优势不一定更好，挥发性较小，被夸大了。

推荐系统（RS）向用户显示的内容会影响他们。 Therefore, when choosing a recommender to deploy, one is implicitly also choosing to induce specific internal states in users.更重要的是，通过长匹马优化培训的系统将有直接的激励措施来操纵用户：在这项工作中，我们专注于转移用户偏好的动力，因此他们更容易满足。我们认为 - 在部署之前 - 系统设计师应：估计推荐人会引起的转变；评估这种转变是否是不受欢迎的；也许甚至可以积极优化以避免有问题的转变。这些步骤涉及两种具有挑战性的成分：估算需要预测假设算法如何影响用户偏好，如果部署 - 我们通过使用历史用户交互数据来训练隐含其偏好动态的预测用户模型来实现此操作；评估和优化另外需要指标来评估这种影响是操纵还是其他不必要的 - 我们使用“安全转移”的概念，该概念定义了行为安全的信任区域：例如，用户无需移动的自然方式而无需使用系统的干扰可以被视为“安全”。在模拟实验中，我们表明我们学习的偏好动力学模型可有效估计用户偏好以及它们如何对新推荐人的反应。此外，我们表明，在信托区域中优化的推荐人可以避免在仍在产生参与的同时避免操纵行为。

推荐系统在塑造现代网络生态系统中起关键作用。这些系统在（1）提出建议之间交替（2）收集用户对这些建议的响应，以及（3）根据此反馈重新审判建议算法。在此过程中，推荐系统会影响随后用于更新它的用户行为数据，从而创建反馈循环。最近的工作表明，反馈循环可能会损害建议质量并使用户行为均匀，从而在部署推荐系统时提高道德和绩效问题。为了解决这些问题，我们提出了反馈循环（CAFL）的因果调整，该算法可证明使用因果推理打破反馈回路，并可以应用于优化培训损失的任何建议算法。我们的主要观察结果是，如果原因是因果量的原因，即推荐系统不会遭受反馈循环的影响，即对用户评级的建议分布。此外，我们可以通过调整推荐系统对用户偏好的预测来计算从观察数据中计算此干预分布。使用模拟环境，我们证明CAFL与先前的校正方法相比提高了建议质量。

多臂匪徒（MAB）提供了一种原则性的在线学习方法，以达到探索和剥削之间的平衡。由于表现出色和反馈学习低，没有学习在多种情况下采取行动，因此多臂匪徒在诸如推荐系统等应用程序中引起了广泛的关注。同样，在推荐系统中，协作过滤（CF）可以说是推荐系统中最早，最具影响力的方法。至关重要的是，新用户和不断变化的推荐项目池是推荐系统需要解决的挑战。对于协作过滤，经典方法是训练模型离线，然后执行在线测试，但是这种方法无法再处理用户偏好的动态变化，即所谓的冷启动。那么，如何在没有有效信息的情况下有效地向用户推荐项目？为了解决上述问题，已经提出了一个基于多臂强盗的协作过滤推荐系统，名为BanditMF。 BANDITMF旨在解决多军强盗算法和协作过滤中的两个挑战：（1）如何在有效信息稀缺的条件下解决冷启动问题以进行协作过滤，（2）强大社会关系域中的强盗算法问题是由独立估计与每个用户相关的未知参数并忽略用户之间的相关性引起的。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

传统的推荐系统旨在根据观察到的群体的评级估算用户对物品的评级。与所有观察性研究一样，隐藏的混乱，这是影响物品曝光和用户评级的因素，导致估计系统偏差。因此，推荐制度研究的新趋势是否定混杂者对因果视角的影响。观察到建议中的混淆通常是在物品中共享的，因此是多原因混淆，我们将推荐模拟为多原因多结果（MCMO）推理问题。具体而言，为了解决混淆偏见，我们估计渲染项目曝光独立伯努利试验的用户特定的潜变量。生成分布由具有分解逻辑似然性的DNN参数化，并且通过变分推理估计难治性后续。控制这些因素作为替代混淆，在温和的假设下，可以消除多因素混淆所产生的偏差。此外，我们表明MCMO建模可能导致由于与高维因果空间相关的稀缺观察而导致高方差。幸运的是，我们理论上证明了作为预处理变量的推出用户特征可以大大提高样本效率并减轻过度装箱。模拟和现实世界数据集的实证研究表明，建议的深度因果额外推荐者比艺术最先进的因果推荐人员对未观察到的混乱更具稳健性。代码和数据集在https://github.com/yaochenzhu/deep-deconf发布。

因果图作为因果建模的有效和强大的工具，通常被假定为有向的无环图（DAG）。但是，推荐系统通常涉及反馈循环，该反馈循环定义为推荐项目的循环过程，将用户反馈纳入模型更新以及重复该过程。结果，重要的是将循环纳入因果图中，以准确地对推荐系统进行动态和迭代数据生成过程。但是，反馈回路并不总是有益的，因为随着时间的流逝，它们可能会鼓励越来越狭窄的内容暴露，如果无人看管的话，可能会导致回声室。结果，重要的是要了解何时会导致Echo Chambers以及如何减轻回声室而不会损害建议性能。在本文中，我们设计了一个带有循环的因果图，以描述推荐的动态过程。然后，我们采取马尔可夫工艺来分析回声室的数学特性，例如导致回声腔的条件。受理论分析的启发，我们提出了一个动态的因果协作过滤（$ \ partial $ ccf）模型，该模型估算了用户基于后门调整的项目的干预后偏好，并通过反事实推理减轻了Echo Echo Chamber。在现实世界数据集上进行了多个实验，结果表明，我们的框架可以比其他最先进的框架更好地减轻回声室，同时通过基本建议模型实现可比的建议性能。

这项调查旨在全面概述用户与推荐系统之间的相互作用和M＆S应用程序之间的相互作用的最新趋势（M＆S），以改善工业推荐引擎的性能。我们从实施模拟器的框架开发的动机开始，以及它们用于培训和测试不同类型（包括强化学习）的推荐系统的使用。此外，我们根据现有模拟器的功能，认可和工业有效性提供了新的一致分类，并总结了研究文献中发现的模拟器。除其他事情外，我们还讨论了模拟器的构建块：合成数据（用户，项目，用户项目响应）的生成，用于模拟质量评估的方法和数据集（包括监视的方法）和/或关闭可能的模拟到现实差距），以及用于汇总实验仿真结果的方法。最后，这项调查考虑了该领域的新主题和开放问题。

当我们使用算法提出建议时，我们通常认为这些建议是提供有用的信息，例如在向法官或医生提供风险评估时。但是，当决策者获得建议时，他们不仅可以对信息做出反应。决策者可以将建议视为默认行动，使他们偏离偏差，例如，当法官不愿推翻对被告的高风险评估或医生担心偏离建议程序的后果时。在本文中，我们考虑建议不仅通过转移信念，而且通过改变偏好来影响选择的效果和设计。我们激励我们的模型从制度因素（例如避免审核的愿望）以及行为科学中建立的模型中的渴望，这些模型相对于参考点，这些模型预测了相对于参考点的损失厌恶，这是由算法设定的。我们表明，与建议有关的偏好造成了效率低下的效率，而决策者对建议过于响应，这改变了算法的最佳设计，以提供较不保守的建议。作为一种潜在的补救措施，我们讨论了一种算法，该算法从战略上扣留建议，并展示如何提高最终决策的质量。

With information systems becoming larger scale, recommendation systems are a topic of growing interest in machine learning research and industry. Even though progress on improving model design has been rapid in research, we argue that many advances fail to translate into practice because of two limiting assumptions. First, most approaches focus on a transductive learning setting which cannot handle unseen users or items and second, many existing methods are developed for static settings that cannot incorporate new data as it becomes available. We argue that these are largely impractical assumptions on real-world platforms where new user interactions happen in real time. In this survey paper, we formalize both concepts and contextualize recommender systems work from the last six years. We then discuss why and how future work should move towards inductive learning and incremental updates for recommendation model design and evaluation. In addition, we present best practices and fundamental open challenges for future research.

在本文中，我们提出了一种方法，用于预测社交媒体对等体之间的信任链接，其中一个是在多识别信任建模的人工智能面积。特别是，我们提出了一种数据驱动的多面信任信任建模，该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能：支持更个性化的，从而为用户提供更准确的预测。在信任感知项目推荐任务中说明，我们在大yelp数据集的上下文中评估所提出的框架。然后，我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础，老年人的反思，以说明关于用户组的推理价值，期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。

推荐系统是帮助用户以个性化方式找到信息过载的兴趣项目，使用关于各用户的需求和偏好的知识。在会话推荐方法中，这些需求和偏好由系统中的交互式多匝对话框中的。文献中的一种常见方法来驱动这些对话框是逐步向用户逐步询问他们关于期望和不期望的项目特征或关于单个项目的偏好。在这种情况下，在该上下文中的核心研究目标是效率，在找到令人满意的项目之前对所需交互的数量进行评估。这通常是通过对向用户询问的最佳下一个问题的推断来实现。如今，对对话效率的研究几乎完全是经验的，旨在说明，例如，选择问题的一个策略优于给定的应用程序中的另一个策略。通过这项工作，我们将实证研究补充了理论，域名的对话建议的独立模型。该模型旨在涵盖一系列应用方案，使我们能够以正式的方式调查会话方法的效率，特别是关于设计最佳相互作用策略的计算复杂性。通过如此理论分析，我们表明，找到高效的会话策略是NP - 硬，并且在PSPace中，但对于特定类型的目录，上限降低到Polylogspace。从实际的角度来看，该结果意味着目录特征可以强烈影响个人对话策略的效率，因此在设计新策略时应考虑。从真实世界派生的数据集的初步实证分析与我们的研究结果对齐。

推荐系统正面临审查，因为它们对我们可以获得的机会的影响越来越大。目前对公平的审计仅限于敏感群体水平的粗粒度评估。我们建议审核嫉妒 - 狂喜，一个与个别偏好对齐的更精细的标准：每个用户都应该更喜欢他们的建议给其他用户的建议。由于审计要求估计用户超出现有建议的用户的偏好，因此我们将审计作为多武装匪徒的新纯粹探索问题。我们提出了一种采样的效率算法，具有理论上的保证，它不会恶化用户体验。我们还研究了现实世界推荐数据集实现的权衡。

基于用户交互数据的优化推荐系统主要被视为处理选择偏差的问题，其中大多数现有工作都假设来自不同用户的交互是独立的。但是，已经表明，实际上用户反馈通常受到其他用户的早期交互的影响，例如通过平均评分，每项项目的视图或销售量等。这种现象被称为潮流效应。与以前的文献相反，我们认为潮流效应不应被视为统计偏见的问题。实际上，我们证明了这种效果使单个相互作用及其样本平均无偏见。然而，我们表明它可以使估计量不一致，从而引入了一系列与相关性估计的融合的不同问题。我们的理论分析研究了潮流效应提出一致性问题的条件，并探讨了减轻这些问题的几种方法。这项工作旨在表明，潮流效应带来了一个不足的开放问题，从根本上讲，这与建议的选择偏见从根本上截然不同。

到目前为止，大多数关于推荐系统的研究专注于通过促进相关和个性化内容维持长期用户参与和满足感。但是，评估这种内容的质量和可靠性仍然非常具有挑战性。在本文中，我们提出了FEBR（基于专家的建议框架），是评估在线平台上建议内容的质量的学徒学习框架。该框架在推荐评估环境中挖掘专家（假设可靠）的演示轨迹，以恢复未知的实用程序功能。此功能用于学习描述专家行为的最佳策略，然后在框架中使用，以提供高质量和个性化的建议。我们通过用户兴趣模拟环境（使用RECSIM）评估我们的解决方案的性能。我们模拟了上述专家政策下的互动，以进行视频推荐，并将其效率与标准推荐方法进行比较。结果表明，我们的方法在内容质量方面提供了显着的收益，由专家评估并由用户观察，同时保持与基线方法几乎相同的表格。

工业推荐系统处理极大的行动空间 - 许多数百万的项目推荐。此外，他们需要为数十亿用户服务，他们在任何时间点都是独一无止的，制作复杂的用户状态空间。幸运的是，可以学习大量记录的隐式反馈（例如，用户点击，停留时间）。然而，从记录的反馈中学习，才受到仅通过以前版本的推荐器选择的建议的反馈而导致的偏差。在这项工作中，我们展示了在YouTube的生产Top-K推荐系统中解决此类偏差的一般配方，以策略梯度为基础的算法，即加强。本文的贡献是：（1）缩放到生产推荐系统，以数百万的订单为行动空间; （2）申请违规纠正以解决从多种行为策略收集的记录反馈中学习数据偏差; （3）提出新的Top-K违规纠正，以占我们的政策一次推荐多个项目; （4）展示勘探的价值。我们展示了我们通过一系列模拟和youtube上的多个实时实验的方法。

内容创作者竞争用户的关注。它们的影响力至关重要取决于开发人员在在线平台上做出的算法选择。为了最大程度地提高曝光率，许多创作者从策略上适应了，如庞大的搜索引擎优化行业这样的例子所证明。这将为有限的用户注意池竞争。我们在所谓的曝光游戏中正式化了这些动态，这是一种由算法引起的激励模型，包括现代化分解和（深）两位塔体系结构。我们证明，看似无害的算法选择 - 例如，非负和不受约束的分解 - 在曝光游戏中（NASH）平衡的存在和特征显着影响。我们将像我们这样的创建者行为模型用于（前ANTE）前部署审核。这样的审核可以确定所需内容和激励内容之间的错位，从而补充了诸如内容过滤和节制之类的事后措施。为此，我们提出了用于在曝光游戏中找到平衡的工具，并说明了Movielens和LastFM数据集的审核结果。除此之外，我们发现策略生产的内容在算法探索和内容多样性之间表现出强烈的依赖，以及模型表达和对基于性别的用户和创建者群体的偏见。

我们介绍了概率等级和奖励模型（PRR），这是一个可扩展的概率模型，用于个性化的Slate建议。我们的模型允许在以下无处不在的推荐系统方案中对用户兴趣的最新估计：向用户显示了k个建议的板岩，用户最多可以选择这些K项目中的一个。推荐系统的目标是找到用户最感兴趣的K项目，以最大程度地提高用户与Slate交互的可能性。我们的贡献是表明，我们可以通过结合奖励（无论是否单击板岩，以及等级）而更有效地学习建议成功的可能性。我们的方法比仅使用奖励和仅使用等级的用户偏好方法的盗销方法更有效地学习。它还提供了与独立的逆点分数方法相似或更好的估计性能，并且更可扩展。我们的方法是在大量数据集中的速度和准确性方面的最高速度，最多100万个项目。最后，我们的方法允许快速交付由最大内部产品搜索（MIPS）提供动力的建议，使其适用于极低的延迟域，例如计算广告。