当前的AI系统旨在解决近世界问题的假设,即基础世界或多或少是相同的。但是,当处理现实世界问题时,这些假设可能无效,因为可能会发生突然和意外的变化。为了有效地在现实世界中部署AI驱动的系统,AI系统应该能够快速处理开放世界的新颖性。不可避免地,处理开放世界的新颖性引发了一个重要的新颖性困难问题。知道一种新颖性是否比另一种新颖性更难处理,可以帮助研究人员系统地训练他们的系统。此外,它还可以用作对新颖性AI系统的性能的测量。在本文中,我们建议将新颖性的难度定义为在引入新颖性后执行已知任务的相对困难。我们提出了一种通用方法,可用于近似难度。我们介绍了使用我们的方法的难度的近似值,并显示了它如何与旨在处理新颖性的AI剂的评估结果保持一致。
translated by 谷歌翻译