在本文中，我们的目标是在测试时调整预训练的卷积神经网络对域的变化。我们在没有标签的情况下，不断地使用传入的测试批次流。现有文献主要是基于通过测试图像的对抗扰动获得的人工偏移。在此激励的情况下，我们在域转移的两个现实和挑战的来源（即背景和语义转移）上评估了艺术的状态。上下文移动与环境类型相对应，例如，在室内上下文上预先训练的模型必须适应Core-50上的户外上下文[7]。语义转移对应于捕获类型，例如，在自然图像上预先训练的模型必须适应域网上的剪贴画，草图和绘画[10]。我们在分析中包括了最近的技术，例如预测时间批归一化（BN）[8]，测试熵最小化（帐篷）[16]和持续的测试时间适应（CottA）[17]。我们的发现是三个方面的：i）测试时间适应方法的表现更好，并且与语义转移相比，在上下文转移方面忘记了更少的忘记，ii）帐篷在短期适应方面的表现优于其他方法，而Cotta则超过了其他关于长期适应的方法， iii）bn是最可靠和强大的。

比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。

机器学习（ML）研究通常集中在模型上，而最突出的数据集已用于日常的ML任务，而不考虑这些数据集对基本问题的广度，困难和忠诚。忽略数据集的基本重要性已引起了重大问题，该问题涉及现实世界中的数据级联以及数据集驱动标准的模型质量饱和，并阻碍了研究的增长。为了解决此问题，我们提出Dataperf，这是用于评估ML数据集和数据集工作算法的基准软件包。我们打算启用“数据棘轮”，其中培训集将有助于评估相同问题的测试集，反之亦然。这种反馈驱动的策略将产生一个良性的循环，该循环将加速以数据为中心的AI。MLCommons协会将维护Dataperf。

教机器人通过加强学习（RL）在复杂的三维环境环境下学习多样化的运动技能仍然具有挑战性。已经表明，在将其转移到复杂设置之前，在简单设置中的培训代理可以改善培训过程，但到目前为止，仅在相对简单的运动技能的背景下。在这项工作中，我们适应了增强的配对开放式开拓者（EPOET）方法，以训练更复杂的代理，以在复杂的三维地形上有效行走。首先，为了产生更加坚固且多样化的三维训练地形，并增加了复杂性，我们扩展了组成模式产生的网络 - 增强拓扑的神经进化（CPPN-NEAT）方法，并包括随机形状。其次，我们将Epoet与软性演员 - 批评外的优化相结合，产生Epoet-SAC，以确保代理商可以学习更多多样化的技能，以解决更具挑战性的任务。我们的实验结果表明，新生成的三维地形具有足够的多样性和复杂性来指导学习，Epoet成功地学习了这些地形上的复杂运动技能，并且我们提出的EPOET-SAC方法在Epoet上略有改进。

Automated Machine Learning (AutoML) has been used successfully in settings where the learning task is assumed to be static. In many real-world scenarios, however, the data distribution will evolve over time, and it is yet to be shown whether AutoML techniques can effectively design online pipelines in dynamic environments. This study aims to automate pipeline design for online learning while continuously adapting to data drift. For this purpose, we design an adaptive Online Automated Machine Learning (OAML) system, searching the complete pipeline configuration space of online learners, including preprocessing algorithms and ensembling techniques. This system combines the inherent adaptation capabilities of online learners with the fast automated pipeline (re)optimization capabilities of AutoML. Focusing on optimization techniques that can adapt to evolving objectives, we evaluate asynchronous genetic programming and asynchronous successive halving to optimize these pipelines continually. We experiment on real and artificial data streams with varying types of concept drift to test the performance and adaptation capabilities of the proposed system. The results confirm the utility of OAML over popular online learning algorithms and underscore the benefits of continuous pipeline redesign in the presence of data drift.

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。

机器学习，已经在越来越多的系统和应用程序的核心，被设置为更普遍存在的可穿戴设备和物联网的快速崛起。在大多数机器学习应用中，主要焦点是实现的结果的质量（例如，预测准确性），因此正在收集大量数据，需要大量的计算资源来构建模型。但是，在许多情况下，建立大型集中式数据存储库是不可行或不切实际的。例如，在个人健康中，隐私问题可能会抑制详细个人数据的共享。在这种情况下，理想情况下，机器学习应该在可穿戴设备本身上执行，这提高了诸如Smartwatches的电池容量的主要计算限制。因此，本文调查了节俭学习，旨在使用最少量资源来构建最准确的可能模型。通过节俭镜头检查广泛的学习算法，在各种数据集上分析了它们的准确性/运行时性能。此后，最有前途的算法通过在SmartWatch中实现它们，并让他们在手表本身上学习活动识别模型来评估现实世界的情况。

许多机器学习库要求将字符串功能转换为模型的数值表示，以便按预期工作。分类字符串特征可以表示各种数据（例如，邮政编码，名称，婚姻状况），并且难以自动预处理。在本文中，我们提出了一个基于最佳实践，领域知识和新颖技术的框架。它自动识别不同类型的字符串功能，相应地处理它们，并将它们进行编码为数字表示。我们还提供了一个开源Python实现，以在表格数据集中自动预处理分类字符串数据，并在广泛的数据集中展示有希望的结果。

机器学习研究取决于客观解释，可比和可重复的算法基准。我们倡导使用策划，全面套房的机器学习任务，以标准化基准的设置，执行和报告。我们通过帮助创建和利用这些基准套件的软件工具来实现这一目标。这些无缝集成到OpenML平台中，并通过Python，Java和R. OpenML基准套件（A）的接口访问，易于使用标准化的数据格式，API和客户端库; （b）附带的数据集具有广泛的元信息; （c）允许在未来的研究中共享和重复使用基准。然后，我们为分类提供了一个仔细的策划和实用的基准测试套件：OpenML策划分类基准测试套件2018（OpenML-CC18）。最后，我们讨论了使用案例和应用程序，这些案例和应用程序尤其展示了OpenML基准套件和OpenML-CC18的有用性。

Many sciences have made significant breakthroughs by adopting online tools that help organize, structure and mine information that is too detailed to be printed in journals. In this paper, we introduce OpenML, a place for machine learning researchers to share and organize data in fine detail, so that they can work more effectively, be more visible, and collaborate with others to tackle harder problems. We discuss how OpenML relates to other examples of networked science and what benefits it brings for machine learning research, individual scientists, as well as students and practitioners.