在表演性预测中,预测模型的部署触发了数据分布的变化。由于这些转变通常是未知的,因此学习者需要部署模型以获取有关其引起的分布的反馈。我们研究了在性能下发现近乎最佳模型的问题,同时保持低廉的遗憾。从表面上看,这个问题似乎等同于强盗问题。但是,它表现出一种从根本上说的反馈结构,我们将其称为表演反馈:在每次部署后,学习者都会从转移的分布中收到样本,而不仅仅是关于奖励的强盗反馈。我们的主要贡献是一种算法,该算法仅随着分配的复杂性而不是奖励功能的复杂性而实现后悔的界限。该算法仅依赖于移位的平滑度,并且不假定凸度。此外,它的最终迭代保证是近乎最佳的。关键算法的想法是对分布变化的仔细探索,该分布变化为新颖的置信范围构造了未开发模型的风险。从更广泛的角度来看,我们的工作为从土匪文献中利用工具的概念方法建立了一种概念性方法,目的是通过表演性反馈最小化后悔的目的。
translated by 谷歌翻译