我们提出了一种无标记的性能捕获方法，该方法从稀疏采样的未跟踪3D点云的稀疏采样序列中计算随时间变形的参与者变形的时间相干4D表示。我们的方法通过以前的时空运动来进行潜在优化。最近，已经引入了任务通用运动先验，并提出了基于单个潜在代码的人类运动的连贯表示，并具有简短序列和给定时间对应关系的令人鼓舞的结果。将这些方法扩展到没有对应的较长序列几乎是直接的。一种潜在代码证明，由于可能的倒置姿势配件，因此对长期可变性的编码效率低下，而潜在空间优化将非常容易受到错误的本地最小值。我们通过学习一个运动来解决这两个问题，该动作将4D人体运动序列编码为一系列潜在的原语，而不是一个潜在的代码。我们还提出了一个附加的映射编码器，该编码器将点云直接投入到学习的潜在空间中，以在推理时提供潜在表示的良好初始化。我们从潜在空间进行的时间解码是隐式和连续的，可以通过时间分辨率提供灵活性。我们通过实验表明我们的方法优于最先进的运动先验。

我们提出了一个框架来学习一个结构化的潜在空间来代表4D人体运动，其中每个潜在向量都编码整个3D人类形状的全部运动。一方面，存在一些数据驱动的骨骼动画模型，提出了时间密集运动信号的运动空间，但基于几何稀疏的运动学表示。另一方面，存在许多方法来构建密集的3D几何形状的形状空间，但对于静态帧。我们将两个概念汇总在一起，提出一个运动空间，该运动空间在时间和几何上都很密集。经过训练后，我们的模型将基于低维潜在空间中的单个点生成多帧序列。该潜在空间是构建为结构化的，因此类似的运动形成簇。它还嵌入了潜在矢量中的持续时间变化，允许语义上的接近序列，这些序列仅因时间展开而不同以共享相似的潜在矢量。我们通过实验证明了潜在空间的结构特性，并表明它可用于在不同动作之间生成合理的插值。我们还将模型应用于4D人类运动的完成，显示其有希望学习人类运动时空特征的能力。

之前在为人类运动提供合理的限制方面发挥着重要作用。以前的作品在不同情况下遵循各种范式的运动前锋，导致缺乏多功能性。在本文中，我们首先总结了先前运动的不可或缺的特性，并因此设计了一种学习多功能运动的框架，其模拟人类运动的固有概率分布。具体地，对于有效的先前表示学习，我们提出了全局方向归一化，以在原始运动数据空间中删除冗余环境信息。此外，将基于序列的基于段的频率引导引入编码阶段。然后，我们采用去噪培训方案以可学习的方式从输入运动数据中解散环境信息，以产生一致和可区分的表示。在三个不同的任务中嵌入我们的运动前嵌入我们的运动，我们进行了广泛的实验，并且定量和定性结果均表现出我们之前运动的多功能性和有效性。我们的型号和代码可在https://github.com/jchenxu/human-motion-porion -prior上获得。

我们提出了一个隐式神经表示，以学习运动运动运动的时空空间。与以前代表运动为离散顺序样本的工作不同，我们建议将广泛的运动空间随着时间的流逝表达为连续函数，因此名称为神经运动场（NEMF）。具体来说，我们使用神经网络来学习此功能，以用于杂项运动集，该动作旨在以时间坐标为$ t $的生成模型和用于控制样式的随机矢量$ z $。然后，将模型作为变异自动编码器（VAE）进行训练，并带有运动编码器来采样潜在空间。我们使用多样化的人类运动数据集和四倍的数据集训练模型，以证明其多功能性，并最终将其部署为通用运动，然后再解决任务 - 静态问题，并在不同的运动生成和编辑应用中显示出优势，例如运动插值，例如运动插值，例如 - 上映和重新散布。可以在我们的项目页面上找到更多详细信息：https：//cs.yale.edu/homes/che/projects/nemf/

我们解决了从文本描述中产生不同3D人类动作的问题。这项具有挑战性的任务需要两种方式的联合建模：从文本中理解和提取有用的人类以人为中心的信息，然后产生人类姿势的合理和现实序列。与大多数以前的工作相反，该作品着重于从文本描述中产生单一的，确定性的动作，我们设计了一种可以产生多种人类动作的变异方法。我们提出了Temos，这是一种具有人体运动数据的变异自动编码器（VAE）训练的文本生成模型，并结合了与VAE潜在空间兼容的文本编码器结合使用的文本编码器。我们显示Temos框架可以像先前的工作一样产生基于骨架的动画，以及更具表现力的SMPL身体运动。我们在套件运动语言基准上评估了我们的方法，尽管相对简单，但对艺术的状态表现出显着改善。代码和模型可在我们的网页上找到。

动画字符上的现实动态服装具有许多AR/VR应用程序。在创作这种动态服装几何形状仍然是一项具有挑战性的任务时，数据驱动的模拟提供了一个有吸引力的替代方案，尤其是如果可以简单地使用基础字符的运动来控制它。在这项工作中，我们专注于动态3D服装，尤其是对于松散的服装。在数据驱动的设置中，我们首先学习了合理服装几何形状的生成空间。然后，我们学会了对该空间的映射，以捕获运动依赖的动态变形，该变形在服装的先前状态以及相对于基础体的相对位置为条件。从技术上讲，我们通过在服装的规范状态下预测富含框架依赖的皮肤重量的服装状态下的人均局部位移来对服装动力学进行建模，从而将服装带入全球空间。我们通过预测剩余的局部位移来解决所有剩余的人均碰撞。所得的服装几何形状被用作历史记录，以实现迭代推出预测。我们证明了对看不见的身体形状和运动输入的合理概括，并在多个最新的替代方案中显示出改进。

4D隐式表示中的最新进展集中在全球控制形状和运动的情况下，低维潜在向量，这很容易缺少表面细节和累积跟踪误差。尽管许多深层的本地表示显示了3D形状建模的有希望的结果，但它们的4D对应物尚不存在。在本文中，我们通过提出一个新颖的局部4D隐性代表来填补这一空白，以动态穿衣人，名为Lord，具有4D人类建模和局部代表的优点，并实现具有详细的表面变形的高保真重建，例如衣服皱纹。特别是，我们的主要见解是鼓励网络学习本地零件级表示的潜在代码，能够解释本地几何形状和时间变形。为了在测试时间进行推断，我们首先估计内部骨架运动在每个时间步中跟踪本地零件，然后根据不同类型的观察到的数据通过自动编码来优化每个部分的潜在代码。广泛的实验表明，该提出的方法具有强大的代表4D人类的能力，并且在实际应用上胜过最先进的方法，包括从稀疏点，非刚性深度融合（质量和定量）进行的4D重建。

逼真的触觉需要高保真的身体建模和忠实的驾驶才能使动态合成的外观与现实无法区分。在这项工作中，我们提出了一个端到端框架，该框架解决了建模和推动真实人的全身化身方面的两个核心挑战。一个挑战是驾驶头像，同时忠实地遵守细节和动态，而这些细节和动态无法被全球低维参数化（例如身体姿势）所捕捉。我们的方法支持驾驶穿着皱纹和运动的衣服化身，而真正的驾驶表演者展出了训练语料库。与现有的全局状态表示或非参数屏幕空间方法不同，我们介绍了Texel对准功能 - 一种本地化表示，可以利用基于骨架的参数模型的结构先验和同时观察到的稀疏图像信号。另一个挑战是建模临时连贯的衣服头像，通常需要精确的表面跟踪。为了避免这种情况，我们通过将体积原语的混合物扩展到清晰的物体，提出了一种新型的体积化头像表示。通过明确合并表达，我们的方法自然而然地概括了看不见的姿势。我们还介绍了局部视点条件，从而导致了依赖视图的外观的概括。拟议的体积表示不需要高质量的网格跟踪作为先决条件，并且与基于网格的对应物相比，具有显着的质量改进。在我们的实验中，我们仔细研究了我们的设计选择，并证明了方法的功效，超过了最新方法在挑战驾驶方案方面的最新方法。

给定一系列自然语言描述，我们的任务是生成与文本相对应的3D人类动作，并遵循指令的时间顺序。特别是，我们的目标是实现一系列动作的综合，我们将其称为时间动作组成。文本条件运动合成中的艺术现状仅采用单个动作或单个句子作为输入。这部分是由于缺乏包含动作序列的合适训练数据，但这也是由于其非自动进取模型公式的计算复杂性，该计算的规模不能很好地扩展到长序列。在这项工作中，我们解决了这两个问题。首先，我们利用了最近的Babel运动文本集合，该收藏品具有广泛的标记作用，其中许多作用以它们之间的过渡为顺序。接下来，我们设计了一种基于变压器的方法，该方法在动作中进行非自动打击，但在动作序列中进行自动加工。与多个基线相比，这种层次配方在我们的实验中被证明有效。我们的方法被称为“为人类动作的时间动作组成”教授，为各种各样的动作和语言描述中的时间构成产生了现实的人类动作。为了鼓励从事这项新任务的工作，我们将代码用于研究目的，以$ \ href {toch.is.tue.mpg.de} {\ textrm {我们的网站}} $。

来自多个RGB摄像机的无标记人类运动捕获（MOCAP）是一个广泛研究的问题。现有方法要么需要校准相机，要么相对于静态摄像头校准它们，该摄像头是MOCAP系统的参考框架。每个捕获会话都必须先验完成校准步骤，这是一个乏味的过程，并且每当有意或意外移动相机时，都需要重新校准。在本文中，我们提出了一种MOCAP方法，该方法使用了多个静态和移动的外部未校准的RGB摄像机。我们方法的关键组成部分如下。首先，由于相机和受试者可以自由移动，因此我们选择接地平面作为常见参考，以代表身体和相机运动，与代表摄像机坐标中身体的现有方法不同。其次，我们了解相对于接地平面的短人类运动序列（$ \ sim $ 1SEC）的概率分布，并利用它在摄像机和人类运动之间消除歧义。第三，我们将此分布用作一种新型的多阶段优化方法的运动，以适合SMPL人体模型，并且摄像机在图像上的人体关键点构成。最后，我们证明我们的方法可以在从航空摄像机到智能手机的各种数据集上使用。与使用静态摄像头的单眼人类MOCAP任务相比，它还提供了更准确的结果。我们的代码可在https://github.com/robot-ception-group/smartmocap上进行研究。

人类将他们的手和身体一起移动，沟通和解决任务。捕获和复制此类协调活动对于虚拟字符至关重要，以实际行为行为。令人惊讶的是，大多数方法分别对待身体和手的3D建模和跟踪。在这里，我们制定了一种手和身体的型号，并将其与全身4D序列合理。当扫描或捕获3D中的全身时，手很小，通常是部分闭塞，使其形状和难以恢复。为了应对低分辨率，闭塞和噪音，我们开发了一种名为Mano（具有铰接和非刚性变形的手模型）的新型号。曼诺从大约1000个高分辨率的3D扫描中学到了31个受试者的手中的大约一定的手。该模型是逼真的，低维，捕获非刚性形状的姿势变化，与标准图形封装兼容，可以适合任何人类的手。 Mano提供从手姿势的紧凑型映射，以构成混合形状校正和姿势协同效应的线性歧管。我们将Mano附加到标准参数化3D体形状模型（SMPL），导致完全铰接的身体和手部模型（SMPL + H）。我们通过用4D扫描仪捕获的综合体，自然，自然，自然的受试者的活动来说明SMPL + H.该配件完全自动，并导致全身型号，自然地移动详细的手动运动和在全身性能捕获之前未见的现实主义。模型和数据在我们的网站上自由用于研究目的（http://mano.is.tue.mpg.de）。

We tackle the problem of generating long-term 3D human motion from multiple action labels. Two main previous approaches, such as action- and motion-conditioned methods, have limitations to solve this problem. The action-conditioned methods generate a sequence of motion from a single action. Hence, it cannot generate long-term motions composed of multiple actions and transitions between actions. Meanwhile, the motion-conditioned methods generate future motions from initial motion. The generated future motions only depend on the past, so they are not controllable by the user's desired actions. We present MultiAct, the first framework to generate long-term 3D human motion from multiple action labels. MultiAct takes account of both action and motion conditions with a unified recurrent generation system. It repetitively takes the previous motion and action label; then, it generates a smooth transition and the motion of the given action. As a result, MultiAct produces realistic long-term motion controlled by the given sequence of multiple action labels. The code will be released.

捕获和渲染寿命状的头发由于其细微的几何结构，复杂的物理相互作用及其非琐碎的视觉外观而特别具有挑战性。灰色是可信的头像的关键部件。在本文中，我们解决了上述问题：1）我们使用一种新的体积发型，这是成千上万的基元提出的。通过构建神经渲染的最新进步，每个原始可以有效地渲染。 2）具有可靠的控制信号，我们呈现了一种在股线水平上跟踪头发的新方法。为了保持计算努力，我们使用引导毛和经典技术将那些扩展到致密的头发罩中。 3）为了更好地强制执行我们模型的时间一致性和泛化能力，我们使用体积射线前导，进一步优化了我们的表示光流的3D场景流。我们的方法不仅可以创建录制的多视图序列的真实渲染，还可以通过提供新的控制信号来为新的头发配置创建渲染。我们将我们的方法与现有的方法进行比较，在视点合成和可驱动动画和实现最先进的结果。

人类性能捕获是一种非常重要的计算机视觉问题，在电影制作和虚拟/增强现实中具有许多应用。许多以前的性能捕获方法需要昂贵的多视图设置，或者没有恢复具有帧到帧对应关系的密集时空相干几何。我们提出了一种新颖的深度致密人体性能捕获的深层学习方法。我们的方法是基于多视图监督的弱监督方式培训，完全删除了使用3D地面真理注释的培训数据的需求。网络架构基于两个单独的网络，将任务解散为姿势估计和非刚性表面变形步骤。广泛的定性和定量评估表明，我们的方法在质量和稳健性方面优于现有技术。这项工作是DeepCAP的扩展版本，在那里我们提供更详细的解释，比较和结果以及应用程序。

在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型，将可能的身体的空间限制在线性组合。近来，一些方法才试图利用人体建模的神经隐式表示，同时展示令人印象深刻的结果，它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中，我们提出了一种用于人体的新型神经隐含表示，其具有完全可分辨：无戒开的形状和姿势潜在空间的优化。与事先工作相反，我们的代表是基于运动模型设计的，这使得可以为姿势动画等任务提供可控制的表示，同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整，直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能，并显示了我们的方法来形状插值，模型拟合，姿势跟踪和运动重新定位的适用性。

合理和可控3D人类运动动画的创建是一个长期存在的问题，需要对技术人员艺术家进行手动干预。目前的机器学习方法可以半自动化该过程，然而，它们以显着的方式受到限制：它们只能处理预期运动的单个轨迹，该轨迹排除了对输出的细粒度控制。为了缓解该问题，我们在多个轨迹表示为具有缺失关节的姿势的空间和时间内将未来姿态预测的问题重构为姿势完成。我们表明这种框架可以推广到设计用于未来姿态预测的其他神经网络。曾经在该框架中培训，模型能够从任何数量的轨迹预测序列。我们提出了一种新颖的变形金刚架构，Trajevae，在这个想法上建立了一个，为3D人类动画提供了一个多功能框架。我们展示了Trajevae提供比基于轨迹的参考方法和方法基于过去的姿势。我们还表明，即使仅提供初始姿势，它也可以预测合理的未来姿势。

尽管近年来3D人姿势和形状估计方法的性能显着提高，但是现有方法通常在相机或以人为本的坐标系中定义的3D姿势。这使得难以估计使用移动相机捕获的视频的世界坐标系中的人的纯姿势和运动。为了解决这个问题，本文提出了一种用于预测世界坐标系中定义的3D人姿势和网格的相机运动不可知论方法。所提出的方法的核心思想是估计不变选择坐标系的两个相邻的全局姿势（即全局运动）之间的差异，而不是耦合到相机运动的全局姿势。为此，我们提出了一种基于双向门控复发单元（GRUS）的网络，该单元从局部姿势序列预测全局运动序列，由称为全局运动回归（GMR）的关节相对旋转组成。我们使用3DPW和合成数据集，该数据集在移动相机环境中构建，进行评估。我们进行广泛的实验，并经验证明了提出的方法的有效性。代码和数据集可在https://github.com/seonghyunkim1212/gmr获得

Figure 1: Given challenging in-the-wild videos, a recent state-of-the-art video-pose-estimation approach [31] (top), fails to produce accurate 3D body poses. To address this, we exploit a large-scale motion-capture dataset to train a motion discriminator using an adversarial approach. Our model (VIBE) (bottom) is able to produce realistic and accurate pose and shape, outperforming previous work on standard benchmarks.

我们考虑合成任意长度的多动运动人类运动序列的问题。现有方法已经掌握了单一方案中的运动序列生成，但未能推广到多动和任意长度序列。我们通过提出一种新型有效方法来填补这一空白，该方法利用了经常性变压器的表现力和条件变异自动编码器的生成丰富性。所提出的迭代方法能够在线性空间和时间进行任意数量的动作和帧中生成平滑而逼真的人类运动序列。我们训练并评估使用基本操作标签增强的Prox数据集的建议方法。实验评估表明，与最先进的情况相比，FID得分和语义一致性指标的显着改善。

Can we make virtual characters in a scene interact with their surrounding objects through simple instructions? Is it possible to synthesize such motion plausibly with a diverse set of objects and instructions? Inspired by these questions, we present the first framework to synthesize the full-body motion of virtual human characters performing specified actions with 3D objects placed within their reach. Our system takes as input textual instructions specifying the objects and the associated intentions of the virtual characters and outputs diverse sequences of full-body motions. This is in contrast to existing work, where full-body action synthesis methods generally do not consider object interactions, and human-object interaction methods focus mainly on synthesizing hand or finger movements for grasping objects. We accomplish our objective by designing an intent-driven full-body motion generator, which uses a pair of decoupled conditional variational autoencoders (CVAE) to learn the motion of the body parts in an autoregressive manner. We also optimize for the positions of the objects with six degrees of freedom (6DoF) such that they plausibly fit within the hands of the synthesized characters. We compare our proposed method with the existing methods of motion synthesis and establish a new and stronger state-of-the-art for the task of intent-driven motion synthesis. Through a user study, we further show that our synthesized full-body motions appear more realistic to the participants in more than 80% of scenarios compared to the current state-of-the-art methods, and are perceived to be as good as the ground truth on several occasions.