Single-image 3D human reconstruction aims to reconstruct the 3D textured surface of the human body given a single image. While implicit function-based methods recently achieved reasonable reconstruction performance, they still bear limitations showing degraded quality in both surface geometry and texture from an unobserved view. In response, to generate a realistic textured surface, we propose ReFu, a coarse-to-fine approach that refines the projected backside view image and fuses the refined image to predict the final human body. To suppress the diffused occupancy that causes noise in projection images and reconstructed meshes, we propose to train occupancy probability by simultaneously utilizing 2D and 3D supervisions with occupancy-based volume rendering. We also introduce a refinement architecture that generates detail-preserving backside-view images with front-to-back warping. Extensive experiments demonstrate that our method achieves state-of-the-art performance in 3D human reconstruction from a single image, showing enhanced geometry and texture quality from an unobserved view.

我们提出了一种新型神经渲染管线，混合体积纹理渲染（HVTR），其合成了从任意姿势和高质量的任意姿势的虚拟人体化身。首先，我们学会在人体表面的致密UV歧管上编码铰接的人体运动。为了处理复杂的运动（例如，自闭电），我们将基于动态姿势的神经辐射场建造关于UV歧管的编码信息来构建基于动态姿态条件的神经辐射场的3D体积表示。虽然这允许我们表示具有更改拓扑的3D几何形状，但体积渲染是计算沉重的。因此，我们仅使用姿势调节的下采样的神经辐射场（PD-NERF）使用粗糙的体积表示，我们可以以低分辨率有效地呈现。此外，我们学习2D纹理功能，这些功能与图像空间中呈现的体积功能融合。我们的方法的关键优势是，我们可以通过快速GaN的纹理渲染器将融合功能转换为高分辨率，高质量的化身。我们证明混合渲染使HVTR能够处理复杂的动作，在用户控制的姿势/形状下呈现高质量的化身，甚至松散的衣服，最重要的是，在推理时间快速。我们的实验结果还证明了最先进的定量结果。

我们提出了CrossHuman，这是一种新颖的方法，该方法从参数人类模型和多帧RGB图像中学习了交叉指导，以实现高质量的3D人类重建。为了恢复几何细节和纹理，即使在无形区域中，我们设计了一个重建管道，结合了基于跟踪的方法和无跟踪方法。给定一个单眼RGB序列，我们在整个序列中跟踪参数人模型，与目标框架相对应的点（体素）被参数体运动扭曲为参考框架。在参数体的几何学先验和RGB序列的空间对齐特征的指导下，稳健隐式表面被融合。此外，将多帧变压器（MFT）和一个自我监管的经过修补模块集成到框架中，以放宽参数主体的要求并帮助处理非常松散的布。与以前的作品相比，我们的十字人类可以在可见的和无形区域启用高保真的几何细节和纹理，并提高人类重建的准确性，即使在估计的不准确的参数人类模型下也是如此。实验表明我们的方法达到了最新的（SOTA）性能。

StyleGAN has achieved great progress in 2D face reconstruction and semantic editing via image inversion and latent editing. While studies over extending 2D StyleGAN to 3D faces have emerged, a corresponding generic 3D GAN inversion framework is still missing, limiting the applications of 3D face reconstruction and semantic editing. In this paper, we study the challenging problem of 3D GAN inversion where a latent code is predicted given a single face image to faithfully recover its 3D shapes and detailed textures. The problem is ill-posed: innumerable compositions of shape and texture could be rendered to the current image. Furthermore, with the limited capacity of a global latent code, 2D inversion methods cannot preserve faithful shape and texture at the same time when applied to 3D models. To solve this problem, we devise an effective self-training scheme to constrain the learning of inversion. The learning is done efficiently without any real-world 2D-3D training pairs but proxy samples generated from a 3D GAN. In addition, apart from a global latent code that captures the coarse shape and texture information, we augment the generation network with a local branch, where pixel-aligned features are added to faithfully reconstruct face details. We further consider a new pipeline to perform 3D view-consistent editing. Extensive experiments show that our method outperforms state-of-the-art inversion methods in both shape and texture reconstruction quality. Code and data will be released.

Pixel-aligned Implicit function (PIFu): We present pixel-aligned implicit function (PIFu), which allows recovery of high-resolution 3D textured surfaces of clothed humans from a single input image (top row). Our approach can digitize intricate variations in clothing, such as wrinkled skirts and high-heels, including complex hairstyles. The shape and textures can be fully recovered including largely unseen regions such as the back of the subject. PIFu can also be naturally extended to multi-view input images (bottom row).

Recent advances in image-based 3D human shape estimation have been driven by the significant improvement in representation power afforded by deep neural networks. Although current approaches have demonstrated the potential in real world settings, they still fail to produce reconstructions with the level of detail often present in the input images. We argue that this limitation stems primarily form two conflicting requirements; accurate predictions require large context, but precise predictions require high resolution. Due to memory limitations in current hardware, previous approaches tend to take low resolution images as input to cover large spatial context, and produce less precise (or low resolution) 3D estimates as a result. We address this limitation by formulating a multi-level architecture that is end-to-end trainable. A coarse level observes the whole image at lower resolution and focuses on holistic reasoning. This provides context to an fine level which estimates highly detailed geometry by observing higher-resolution images. We demonstrate that our approach significantly outperforms existing state-of-the-art techniques on single image human shape reconstruction by fully leveraging 1k-resolution input images.

Existing neural rendering methods for creating human avatars typically either require dense input signals such as video or multi-view images, or leverage a learned prior from large-scale specific 3D human datasets such that reconstruction can be performed with sparse-view inputs. Most of these methods fail to achieve realistic reconstruction when only a single image is available. To enable the data-efficient creation of realistic animatable 3D humans, we propose ELICIT, a novel method for learning human-specific neural radiance fields from a single image. Inspired by the fact that humans can easily reconstruct the body geometry and infer the full-body clothing from a single image, we leverage two priors in ELICIT: 3D geometry prior and visual semantic prior. Specifically, ELICIT introduces the 3D body shape geometry prior from a skinned vertex-based template model (i.e., SMPL) and implements the visual clothing semantic prior with the CLIP-based pre-trained models. Both priors are used to jointly guide the optimization for creating plausible content in the invisible areas. In order to further improve visual details, we propose a segmentation-based sampling strategy that locally refines different parts of the avatar. Comprehensive evaluations on multiple popular benchmarks, including ZJU-MoCAP, Human3.6M, and DeepFashion, show that ELICIT has outperformed current state-of-the-art avatar creation methods when only a single image is available. Code will be public for reseach purpose at https://elicit3d.github.io .

3D单眼图像的人体重建是在多个域中具有更广泛应用的计算机视觉中有趣和不良的问题。在本文中，我们提出了一种新颖的端到端培训网络，可从单眼图像中准确地恢复3D人的详细几何和外观。在衣服模型的非参数去皮深度图表示之前，我们提出了稀疏和有效的参数体融合。参数正文以两种方式进行了限制我们的模型：首先，网络保留不受衣服封闭的几何一致身体部位，而第二件，它提供了改善剥离深度图的预测的身体形状上下文。这使得能够在给定输入图像的情况下，在2D地图上的L1损耗仅恢复细粒度的3D几何细节。我们在公开可用的布料3D和Thuman数据集中评估夏普，并向最先进的方法报告卓越的性能。

为了解决由单眼人类体积捕获中部分观察结果引起的不足问题，我们提出了Avatarcap，这是一个新颖的框架，该框架将可动画的化身引入了可见和不可见区域中高保真重建的捕获管道中。我们的方法首先为该主题创建一个可动画化的化身，从少量（〜20）的3D扫描作为先验。然后给出了该主题的单眼RGB视频，我们的方法集成了图像观察和头像先验的信息，因此无论可见性如何，都会重新构建具有动态细节的高保真3D纹理模型。为了学习有效的头像，仅从少数样品中捕获体积捕获，我们提出了GeoteXavatar，该地理Xavatar利用几何和纹理监督以分解的隐式方式限制了姿势依赖性动力学。进一步提出了一种涉及规范正常融合和重建网络的头像条件的体积捕获方法，以在观察到的区域和无形区域中整合图像观测和化身动力学，以整合图像观测和头像动力学。总体而言，我们的方法可以通过详细的和姿势依赖性动力学实现单眼人体体积捕获，并且实验表明我们的方法优于最新的最新状态。代码可在https://github.com/lizhe00/avatarcap上找到。

目前用于学习现实和可动画3D穿衣服的方法需要带有仔细控制的用户的构成3D扫描或2D图像。相比之下，我们的目标是从不受约束的姿势中只有2D人的人们学习化身。给定一组图像，我们的方法估计来自每个图像的详细3D表面，然后将它们组合成一个可动画的化身。隐式功能非常适合第一个任务，因为他们可以捕获像头发或衣服等细节。然而，目前的方法对各种人类的姿势并不稳健，并且通常会产生破碎或肢体的3D表面，缺少细节或非人形状。问题是这些方法使用对全局姿势敏感的全局特征编码器。为了解决这个问题，我们提出图标（“从正规中获得的隐式衣物人类”），它使用本地特征。图标有两个主要模块，两者都利用SMPL（-X）正文模型。首先，图标Infers详细的衣服 - 人类法线（前/后）在SMPL（-X）法线上。其次，可视性感知隐式表面回归系统产生人占用场的ISO表面。重要的是，在推断时间下，反馈回路在使用推断的布料正线改进SMPL（-X）网格之间交替，然后改装正常。给定多种姿势的多个重建帧，我们使用扫描来从中生成可动画的化身。对Agora和Cape数据集的评估显示，即使具有大量有限的培训数据，图标越优于重建中的最新状态。另外，它对分布外样品进行更强大，例如，野外的姿势/图像和帧外裁剪。图标从野外图像中迈向强大的3D穿上人体重建。这使得能够使用个性化和天然姿势依赖布变形来直接从视频创建化身。

We introduce Structured 3D Features, a model based on a novel implicit 3D representation that pools pixel-aligned image features onto dense 3D points sampled from a parametric, statistical human mesh surface. The 3D points have associated semantics and can move freely in 3D space. This allows for optimal coverage of the person of interest, beyond just the body shape, which in turn, additionally helps modeling accessories, hair, and loose clothing. Owing to this, we present a complete 3D transformer-based attention framework which, given a single image of a person in an unconstrained pose, generates an animatable 3D reconstruction with albedo and illumination decomposition, as a result of a single end-to-end model, trained semi-supervised, and with no additional postprocessing. We show that our S3F model surpasses the previous state-of-the-art on various tasks, including monocular 3D reconstruction, as well as albedo and shading estimation. Moreover, we show that the proposed methodology allows novel view synthesis, relighting, and re-posing the reconstruction, and can naturally be extended to handle multiple input images (e.g. different views of a person, or the same view, in different poses, in video). Finally, we demonstrate the editing capabilities of our model for 3D virtual try-on applications.

最近，基于神经辐射场（NERF）的进步，在3D人类渲染方面取得了迅速的进展，包括新的视图合成和姿势动画。但是，大多数现有方法集中在特定于人的培训上，他们的培训通常需要多视频视频。本文涉及一项新的挑战性任务 - 为在培训中看不见的人提供新颖的观点和新颖的姿势，仅使用多视图图像作为输入。对于此任务，我们提出了一种简单而有效的方法，以训练具有多视图像作为条件输入的可推广的NERF。关键成分是结合规范NERF和体积变形方案的专用表示。使用规范空间使我们的方法能够学习人类的共享特性，并轻松地推广到不同的人。音量变形用于将规范空间与输入和目标图像以及查询图像特征连接起来，以进行辐射和密度预测。我们利用拟合在输入图像上的参数3D人类模型来得出变形，与我们的规范NERF结合使用，它在实践中效果很好。具有新的观点合成和构成动画任务的真实和合成数据的实验共同证明了我们方法的功效。

我们介绍了一个现实的单发网眼的人体头像创作的系统，即简称罗马。使用一张照片，我们的模型估计了特定于人的头部网格和相关的神经纹理，该神经纹理编码局部光度和几何细节。最终的化身是操纵的，可以使用神经网络进行渲染，该神经网络与野外视频数据集上的网格和纹理估计器一起训练。在实验中，我们观察到我们的系统在头部几何恢复和渲染质量方面都具有竞争性的性能，尤其是对于跨人的重新制定。请参阅结果https://samsunglabs.github.io/rome/

用于运动中的人类的新型视图综合是一个具有挑战性的计算机视觉问题，使得诸如自由视视频之类的应用。现有方法通常使用具有多个输入视图，3D监控或预训练模型的复杂设置，这些模型不会概括为新标识。旨在解决这些限制，我们提出了一种新颖的视图综合框架，以从单视图传感器捕获的任何人的看法生成现实渲染，其具有稀疏的RGB-D，类似于低成本深度摄像头，而没有参与者特定的楷模。我们提出了一种架构来学习由基于球体的神经渲染获得的小说视图中的密集功能，并使用全局上下文修复模型创建完整的渲染。此外，增强剂网络利用了整体保真度，即使在原始视图中的遮挡区域中也能够产生细节的清晰渲染。我们展示了我们的方法为单个稀疏RGB-D输入产生高质量的合成和真实人体演员的新颖视图。它概括了看不见的身份，新的姿势，忠实地重建面部表情。我们的方法优于现有人体观测合成方法，并且对不同水平的输入稀疏性具有稳健性。

In this paper, we propose ARCH (Animatable Reconstruction of Clothed Humans), a novel end-to-end framework for accurate reconstruction of animation-ready 3D clothed humans from a monocular image. Existing approaches to digitize 3D humans struggle to handle pose variations and recover details. Also, they do not produce models that are animation ready. In contrast, ARCH is a learned pose-aware model that produces detailed 3D rigged full-body human avatars from a single unconstrained RGB image. A Semantic Space and a Semantic Deformation Field are created using a parametric 3D body estimator. They allow the transformation of 2D/3D clothed humans into a canonical space, reducing ambiguities in geometry caused by pose variations and occlusions in training data. Detailed surface geometry and appearance are learned using an implicit function representation with spatial local features. Furthermore, we propose additional per-pixel supervision on the 3D reconstruction using opacity-aware differentiable rendering. Our experiments indicate that ARCH increases the fidelity of the reconstructed humans. We obtain more than 50% lower reconstruction errors for standard metrics compared to state-of-the-art methods on public datasets. We also show numerous qualitative examples of animated, high-quality reconstructed avatars unseen in the literature so far.

我们提出了神经演员（NA），一种用于从任意观点和任意可控姿势的高质量合成人类的新方法。我们的方法是基于最近的神经场景表示和渲染工作，从而从仅从2D图像中学习几何形状和外观的表示。虽然现有的作品令人兴奋地呈现静态场景和动态场景的播放，具有神经隐含方法的照片 - 现实重建和人类的渲染，特别是在用户控制的新颖姿势下，仍然很困难。为了解决这个问题，我们利用一个粗体模型作为将周围的3D空间的代理放入一个规范姿势。神经辐射场从多视图视频输入中了解在规范空间中的姿势依赖几何变形和姿势和视图相关的外观效果。为了综合高保真动态几何和外观的新颖视图，我们利用身体模型上定义的2D纹理地图作为预测残余变形和动态外观的潜变量。实验表明，我们的方法能够比播放的最先进，以及新的姿势合成来实现更好的质量，并且甚至可以概括到新的姿势与训练姿势不同的姿势。此外，我们的方法还支持对合成结果的体形控制。

我们介绍了我们称呼STYLESDF的高分辨率，3D一致的图像和形状生成技术。我们的方法仅在单视图RGB数据上培训，并站在StyleGan2的肩部，用于图像生成，同时解决3D感知GANS中的两个主要挑战：1）RGB图像的高分辨率，视图 - 一致生成RGB图像，以及2）详细的3D形状。通过使用基于样式的2D发生器合并基于SDF的3D表示来实现这一目标。我们的3D隐式网络呈现出低分辨率的特征映射，其中基于样式的网络生成了View-Consive，1024x1024图像。值得注意的是，基于SDF的3D建模定义了详细的3D曲面，导致一致的卷渲染。在视觉和几何质量方面，我们的方法显示出更高的质量结果。

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。