连续控制的强化学习(RL)通常采用其支持涵盖整个动作空间的分布。在这项工作中,我们调查了培训的代理经常更喜欢在该空间的界限中普遍采取行动的俗称已知的现象。我们在最佳控制中汲取理论联系,以发出Bang-Bang行为的出现,并在各种最近的RL算法中提供广泛的实证评估。我们通过伯努利分布替换正常高斯,该分布仅考虑沿着每个动作维度的极端 - Bang-Bang控制器。令人惊讶的是,这在几种连续控制基准测试中实现了最先进的性能 - 与机器人硬件相比,能量和维护成本影响控制器选择。由于勘探,学习和最终解决方案纠缠在RL中,我们提供了额外的模仿学习实验,以减少探索对我们分析的影响。最后,我们表明我们的观察结果概括了旨在模拟现实世界挑战和评估因素来减轻Bang-Bang解决方案的因素的环境。我们的调查结果强调了对基准测试连续控制算法的挑战,特别是在潜在的现实世界应用中。
translated by 谷歌翻译