超参数优化（HPO）和神经体系结构搜索（NAS）是获得一流的机器学习模型的选择，但实际上，它们的运行成本很高。当在大型数据集上培训模型时，即使采用了有效的多志愿方法，对从业者进行HPO或NAS的调整迅速昂贵。我们提出了一种方法，以应对在具有有限计算资源的大型数据集上培训的调整机器学习模型的挑战。我们的方法名为Pasha，能够根据需要动态分配最大资源为调整过程。实验比较表明，Pasha识别出良好的超参数配置和体系结构，同时消耗的计算资源明显少于ASHA等解决方案。
translated by 谷歌翻译
在许多实际情况下，随着时间的推移，用于训练机器学习模型的数据将获得。但是，神经网络模型努力不断学习新概念，而不会忘记过去学到了什么。这种现象被称为灾难性的遗忘，由于实际的约束，通常很难预防，例如可以存储的数据量或可以使用的有限计算源。此外，从头开始培训大型神经网络，例如变形金刚，非常昂贵，需要大量的培训数据，这可能在感兴趣的应用程序领域中不可用。最近的趋势表明，基于参数扩展的动态体系结构可以在持续学习中有效地减少灾难性遗忘，但是这种需要复杂的调整以平衡不断增长的参数，并且几乎无法在任务中共享任何信息。结果，他们难以扩展到没有大量开销的大量任务。在本文中，我们在计算机视觉域中验证了一种最新的解决方案，称为适配器的自适应蒸馏（ADA），该解决方案是为了使用预先训练的变压器和适配器在文本分类任务上进行连续学习。我们在不同的分类任务上进行了经验证明，此方法在不进行模型或增加模型参数数量的情况下保持良好的预测性能。此外，与最先进的方法相比，推理时间的速度明显更快。
translated by 谷歌翻译