我们提出了Zeroeggs，这是一个神经网络框架，用于语音驱动的手势生成，以零拍出样式控制。这意味着即使在训练过程中看不见的运动样式，也只能通过一个简短的运动剪辑来控制样式。我们的模型使用一个变性框架来学习样式嵌入，从而可以通过潜在的空间操纵或样式嵌入方式的混合和缩放来修改样式。我们框架的概率性质进一步使给定输入相同的各种输出的产生，以解决手势运动的随机性质。在一系列实验中，我们首先证明了模型对新的扬声器和样式的灵活性和概括性。然后，在一项用户研究中，我们表明我们的模型在运动，语音适当性和风格刻画方面的自然性，适当性和刻画的表现优于先前的最先进技术。最后，我们释放了包括手指在内的全身手势运动的高质量数据集，语音跨越了19种不同的样式。
translated by 谷歌翻译