尽管机器学习的其他领域越来越多地自动化，但设计高性能的推荐系统仍然需要高水平的人力努力。此外，最近的工作表明，现代推荐系统算法并不总是比调整良好的基线改进。一个自然的后续问题是：“我们如何为新数据集和性能指标选择正确的算法？”在这项工作中，我们首先要通过比较85个数据集和315个指标的18算法和100组超参数的大规模研究。我们发现，最好的算法和超参数高度依赖于数据集和性能指标，但是，每种算法的性能与数据集的各种元元功能之间也存在很强的相关性。在这些发现的激励下，我们创建了Reczilla，这是一种推荐系统的元学习方法，该方法使用模型来预测新的，看不见的数据集的最佳算法和超参数。通过使用比先前的工作更多的元培训数据，Reczilla可以大大降低面对新推荐系统应用时人类参与水平。我们不仅发布了我们的代码和预处理的Reczilla模型，而且还发布了所有原始的实验结果，因此从业者可以为其所需的性能指标训练Reczilla模型：https：//github.com/naszilla/reczilla。

协作过滤（CF）是推荐系统的重要方法，广泛应用于我们生命中的大量方面，在线的商业系统。 CF中的一个流行算法是K到最近邻居（KNN）算法，其中使用相似度测量来确定用户的最近邻居，从而量化相对用户/项目对之间的依赖程度。因此，CF方法不仅对相似性度量敏感，但它完全取决于对该措施的选择。虽然Jaccard - 作为CF任务的常用相似度措施之一 - 涉及评级的存在，余弦和皮尔逊等其他数值措施涉及评级的程度。特别说话，Jaccard不是一个主导的措施，但很长时间被证明是改善任何措施的重要因素。因此，在我们不断努力寻找最有效的CF相似性措施，本研究侧重于通过将Jaccard与多种数值措施相结合提出新的相似性度量。综合措施将采取存在和幅度的优点。电影镜头数据集的实验结果表明，综合措施是卓越的表现优于考虑的评估指标的所有单一措施。

最近，在推荐系统领域中，一个关键问题隐约可见 - 没有进行严格评估的有效基准 - 因此，这会导致不可再生的评估和不公平的比较。因此，我们从实践理论和实验的角度进行研究，目的是为严格的评估做出基准建议。关于理论研究，一系列影响整个评估链中建议性能的超级因素通过对2017 - 2020年在八个顶级会议上发表的141篇论文进行的详尽评价进行了系统的总结和分析。然后，我们将它们分类为独立于模型和模型依赖性的超因子，并相应地定义和讨论了不同的严格评估模式。在实验研究中，我们通过将这些超级因子整合以进行严格的评估来发布DaisyREC 2.0文库，从而进行了整体经验研究，以揭示不同超级效应器对建议性能的影响。在理论和实验研究的支持下，我们最终通过提出标准化程序并在六个数据集上的六个评估指标中提供10个最先进的方法来创建严格评估的基准，以作为以后研究的参考。总体而言，我们的工作阐明了建议评估中的问题，为严格的评估提供了潜在的解决方案，并为进一步调查提供了基础。

推荐系统，为用户提供个性化建议，为当今的许多社交媒体，电子商务和娱乐提供动力。但是，已知这些系统可以从各种角度从智力上隔离用户，或引起过滤气泡。在我们的工作中，我们表征和减轻了这种过滤器气泡效应。我们通过根据其用户 - 项目交互历史记录对各种数据点进行分类，并使用众所周知的Tracin方法对彼此的影响进行分类。最后，我们通过仔细地重新训练我们的建议系统来减轻这种过滤器气泡效果而不会损害精度。

许多现代的顺序推荐系统使用深层神经网络，可以有效地估计项目的相关性，但需要大量时间进行训练。慢速培训增加了费用，阻碍了产品开发时间表，并防止该模型定期更新以适应不断变化的用户偏好。培训这样的顺序模型涉及对过去的用户互动进行适当采样以创建现实的培训目标。现有的培训目标有局限性。例如，下一个项目预测永远不会将序列的开头用作学习目标，从而可能丢弃有价值的数据。另一方面，Bert4Rec使用的项目掩盖仅与顺序建议的目标无关。因此，它需要更多的时间来获得有效的模型。因此，我们提出了一个基于新颖的序列训练目标采样，以解决这两个局限性。我们将我们的方法应用于最近和最新的模型架构，例如Gru4Rec，Caser和Sasrec。我们表明，通过我们的方法增强的模型可以实现超过或非常接近bert4rec的状态的性能，但训练时间却少得多。

In this paper, we study item advertisements for small businesses. This application recommends prospective customers to specific items requested by businesses. From analysis, we found that the existing Recommender Systems (RS) were ineffective for small/new businesses with a few sales history. Training samples in RS can be highly biased toward popular businesses with sufficient sales and can decrease advertising performance for small businesses. We propose a meta-learning-based RS to improve advertising performance for small/new businesses and shops: Meta-Shop. Meta-Shop leverages an advanced meta-learning optimization framework and builds a model for a shop-level recommendation. It also integrates and transfers knowledge between large and small shops, consequently learning better features in small shops. We conducted experiments on a real-world E-commerce dataset and a public benchmark dataset. Meta-Shop outperformed a production baseline and the state-of-the-art RS models. Specifically, it achieved up to 16.6% relative improvement of Recall@1M and 40.4% relative improvement of nDCG@3 for user recommendations to new shops compared to the other RS models.

在媒体流媒体的普及之后，许多视频流服务是不断购买新的视频内容来挖掘它们的潜在利润。因此，必须处理新添加的内容，以便建议给合适的用户。在本文中，我们通过探索各种深度学习功能提供视频建议的潜力来解决新的项目冷启动问题。调查的深度学习功能包括从视频内容中捕获视觉外观，音频和运动信息的功能。我们还探讨了不同的融合方法来评估这些功能模式如何组合以完全利用它们捕获的互补信息。关于电影建议的真实视频数据集的实验表明，深度学习功能优于手工制作的功能。特别是，使用深度学习音频功能和以自行信型的深度学习功能生成的建议优于MFCC和最先进的IDT功能。此外，与手工制作特征和文本元数据的各种深度学习特征的组合产生了显着的建议改善，而不是仅相结合的前者。

本文根据推荐系统社区中当前的关注来研究用户属性：多样性，覆盖范围，校准和数据最小化。在利用侧面信息的传统上下文感知的推荐系统的实验中，我们表明用户属性并不总是改善建议。然后，我们证明用户属性可能会对多样性和覆盖率产生负面影响。最后，我们调查了从培训数据中``生存''到推荐人产生的建议列表中的有关用户的信息量。该信息是一个薄弱的信号，将来可能会被利用进行校准或作为隐私泄漏进一步研究。

在这个大数据时代，当前一代很难从在线平台中包含的大量数据中找到正确的数据。在这种情况下，需要一个信息过滤系统，可以帮助他们找到所需的信息。近年来，出现了一个称为推荐系统的研究领域。推荐人变得重要，因为他们拥有许多现实生活应用。本文回顾了推荐系统在电子商务，电子商务，电子资源，电子政务，电子学习和电子生活中的不同技术和发展。通过分析有关该主题的最新工作，我们将能够详细概述当前的发展，并确定建议系统中的现有困难。最终结果为从业者和研究人员提供了对建议系统及其应用的必要指导和见解。

Over the past decade, tremendous progress has been made in Recommender Systems (RecSys) for well-known tasks such as next-item and next-basket prediction. On the other hand, the recently proposed next-period recommendation (NPR) task is not covered as much. Current works about NPR are mostly based around distinct problem formulations, methods, and proprietary datasets, making solutions difficult to reproduce. In this article, we aim to fill the gap in RecSys methods evaluation on the NPR task using publicly available datasets and (1) introduce the TTRS, a large-scale financial transactions dataset suitable for RecSys methods evaluation; (2) benchmark popular RecSys approaches on several datasets for the NPR task. When performing our analysis, we found a strong repetitive consumption pattern in several real-world datasets. With this setup, our results suggest that the repetitive nature of data is still hard to generalize for the evaluated RecSys methods, and novel item prediction performance is still questionable.

在本文中，我们提出了一种方法，用于预测社交媒体对等体之间的信任链接，其中一个是在多识别信任建模的人工智能面积。特别是，我们提出了一种数据驱动的多面信任信任建模，该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能：支持更个性化的，从而为用户提供更准确的预测。在信任感知项目推荐任务中说明，我们在大yelp数据集的上下文中评估所提出的框架。然后，我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础，老年人的反思，以说明关于用户组的推理价值，期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。

推荐兴趣点是一个困难的问题，需要从基于位置的社交媒体平台中提取精确的位置信息。对于这种位置感知的推荐系统而言，另一个具有挑战性和关键的问题是根据用户的历史行为对用户的偏好进行建模。我们建议使用Transformers的双向编码器表示的位置感知建议系统，以便为用户提供基于位置的建议。提出的模型包含位置数据和用户偏好。与在序列中预测每个位置的下一项（位置）相比，我们的模型可以为用户提供更相关的结果。基准数据集上的广泛实验表明，我们的模型始终优于各种最新的顺序模型。

我们研究了数据集采样策略对推荐算法的排名性能的实际后果。通常在较大数据集的样本上进行培训和评估推荐系统。样品通常以幼稚或ad-hoc时尚服用：例如通过随机抽样数据集或通过选择具有许多交互的用户或项目。正如我们所示，常用的数据采样方案可能对算法性能产生重大后果。在此观察中，本文提出了三个主要贡献：（1）表征采样对算法性能的影响，就算法和数据集特征（例如稀疏性特征，顺序动态等）; （2）设计SVP-CF，这是一种数据特定的采样策略，旨在保留采样后模型的相对性能，特别适用于长尾交互数据; （3）开发Oracle，数据Genie，它可以提出最有可能为给定数据集保留模型性能的采样方案。 Data-Genie的主要好处是它将允许推荐系统从业者快速原型并比较各种方法，同时保持对算法将保留算法性能，一旦算法在完整数据上进行了验证并部署。详细实验表明，使用数据Genie，我们可以丢弃比具有相同性能水平的采样策略更多的数据。

比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。

互联网上的用户通常需要场地来提供更好的购买建议。这可以由声誉系统提供，该系统处理评级以提供建议。评级汇总过程是声誉系统的主要部分，旨在产生有关产品质量的全球意见。经常使用的幼稚方法不会在其计算中考虑消费者概况，也无法发现新评级中出现的不公平评级和趋势。使用加权平均技术的其他复杂评级聚合方法集中在消费者概况数据的一个或几个方面。本文提出了使用机器学习的新信誉系统，以预测消费者资料中消费者的可靠性。特别是，我们通过提取一组对消费者可靠性影响的因素来构建新的消费者资料数据集，这些因素是机器学习算法的输入。然后将预测的权重与加权平均方法集成，以计算产品信誉评分。已使用10倍交叉验证对三个Movielens基准数据集进行了评估。此外，已将提出模型的性能与以前已发布的评级聚合模型进行了比较。获得的结果很有希望，这表明所提出的方法可能是声誉系统的潜在解决方案。比较结果证明了我们模型的准确性。最后，建议的方法可以与在线推荐系统集成在一起，以提供更好的购买建议并促进在线购物市场上的用户体验。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

为了允许机器学习算法从原始数据中提取知识，必须首先清除，转换，并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择，其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中，不同事件的实例通常是不平衡的，这意味着某些正常事件被超出，而其他罕见事件非常有限。通常，这些罕见的事件具有特殊的兴趣，因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例，从而积极影响特征选择过程。在这项工作过程中，我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集，所产生的性能增加仅为百分点，但对于其他数据集，我们能够实现高达16％的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神，提高了我们的研究领域的透明度，我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。

Embedding based product recommendations have gained popularity in recent years due to its ability to easily integrate to large-scale systems and allowing nearest neighbor searches in real-time. The bulk of studies in this area has predominantly been focused on similar item recommendations. Research on complementary item recommendations, on the other hand, still remains considerably under-explored. We define similar items as items that are interchangeable in terms of their utility and complementary items as items that serve different purposes, yet are compatible when used with one another. In this paper, we apply a novel approach to finding complementary items by leveraging dual embedding representations for products. We demonstrate that the notion of relatedness discovered in NLP for skip-gram negative sampling (SGNS) models translates effectively to the concept of complementarity when training item representations using co-purchase data. Since sparsity of purchase data is a major challenge in real-world scenarios, we further augment the model using synthetic samples to extend coverage. This allows the model to provide complementary recommendations for items that do not share co-purchase data by leveraging other abundantly available data modalities such as images, text, clicks etc. We establish the effectiveness of our approach in improving both coverage and quality of recommendations on real world data for a major online retail company. We further show the importance of task specific hyperparameter tuning in training SGNS. Our model is effective yet simple to implement, making it a great candidate for generating complementary item recommendations at any e-commerce website.

Self-attentive transformer models have recently been shown to solve the next item recommendation task very efficiently. The learned attention weights capture sequential dynamics in user behavior and generalize well. Motivated by the special structure of learned parameter space, we question if it is possible to mimic it with an alternative and more lightweight approach. We develop a new tensor factorization-based model that ingrains the structural knowledge about sequential data within the learning process. We demonstrate how certain properties of a self-attention network can be reproduced with our approach based on special Hankel matrix representation. The resulting model has a shallow linear architecture and compares competitively to its neural counterpart.

自动化的机器学习（AUTOML）过程可能需要通过不仅机器学习（ML）组件及其超参数的复杂配置空间进行搜索，还需要将它们组合在一起，即形成ML管道。如果该管道配置空间过大，那么固定时间预算可实现的优化效率和模型精度可实现。一个关键的研究问题是，通过利用其历史表现来完成各种ML任务（即元知识），避免对ML管道的不良评估是否可能既可能又实用。以前的经验以分类器/回归器准确性排名的形式来自（1）（1）在历史自动运行期间进行的大量但无尽的管道评估数量，即“机会性”元知识，或（2）全面的交叉 - 通过默认超参数（即“系统”的元知识，对分类器/回归器的验证评估。使用AUTOWEKA4MCPS软件包进行了许多实验，表明（1）机会性/系统的元知识可以改善ML的结果，通常与元知识的相关性以及（2）配置空间扣除在不太保守的情况下是最佳的（2）也不是激进的。但是，元知识的效用和影响急性取决于其发电和剥削的许多方面，并保证了广泛的分析；这些通常在汽车和元学习文献中被忽视/不足。特别是，我们观察到对数据集的“挑战”的强烈敏感性，即选择预测因子的特异性是否会导致性能明显更好。最终，确定这样定义的“困难”数据集对于生成信息丰富的元知识基础和理解最佳搜索空间降低策略至关重要。