新型视图合成是一个长期存在的问题。在这项工作中，我们考虑了一个问题的变体，在这种变体中，只有几个上下文视图稀疏地涵盖了场景或对象。目的是预测现场的新观点，这需要学习先验。当前的艺术状态基于神经辐射场（NERF），在获得令人印象深刻的结果的同时，这些方法遭受了较长的训练时间，因为它们需要通过每个图像来评估数百万个3D点样品。我们提出了一种仅限2D方法，该方法将多个上下文视图映射，并在神经网络的单个通过中映射到新图像。我们的模型使用由密码簿和变压器模型组成的两阶段体系结构。该密码手册用于将单个图像嵌入较小的潜在空间中，而变压器在此更紧凑的空间中求解了视图综合任务。为了有效地训练我们的模型，我们引入了一种新颖的分支注意机制，该机制使我们不仅可以将相同的模型用于神经渲染，还可以用于摄像头姿势估计。现实世界场景的实验结果表明，与基于NERF的方法相比，我们的方法具有竞争力，而在3D中没有明确推理，并且训练速度更快。

计算机愿景中的经典问题是推断从几个可用于以交互式速率渲染新颖视图的图像的3D场景表示。以前的工作侧重于重建预定定义的3D表示，例如，纹理网格或隐式表示，例如隐式表示。辐射字段，并且通常需要输入图像，具有精确的相机姿势和每个新颖场景的长处理时间。在这项工作中，我们提出了场景表示变换器（SRT），一种方法，该方法处理新的区域的构成或未铺设的RGB图像，Infers Infers“设置 - 潜在场景表示”，并合成新颖的视图，全部在一个前馈中经过。为了计算场景表示，我们提出了视觉变压器的概括到图像组，实现全局信息集成，从而实现3D推理。一个有效的解码器变压器通过参加场景表示来参加光场以呈现新颖的视图。通过最大限度地减少新型视图重建错误，学习是通过最终到底的。我们表明，此方法在PSNR和Synthetic DataSets上的速度方面优于最近的基线，包括为纸张创建的新数据集。此外，我们展示了使用街景图像支持现实世界户外环境的交互式可视化和语义分割。

我们提出了可推广的NERF变压器（GNT），这是一种纯粹的，统一的基于变压器的体系结构，可以从源视图中有效地重建神经辐射场（NERF）。与NERF上的先前作品不同，通过颠倒手工渲染方程来优化人均隐式表示，GNT通过封装两个基于变压器的阶段来实现可概括的神经场景表示和渲染。 GNT的第一阶段，称为View Transformer，利用多视图几何形状作为基于注意力的场景表示的电感偏差，并通过在相邻视图上从异性线中汇总信息来预测与坐标对齐的特征。 GNT的第二阶段，名为Ray Transformer，通过Ray Marching呈现新视图，并使用注意机制直接解码采样点特征的序列。我们的实验表明，当在单个场景上进行优化时，GNT可以在不明确渲染公式的情况下成功重建NERF，甚至由于可学习的射线渲染器，在复杂的场景上甚至将PSNR提高了〜1.3db。当在各种场景中接受培训时，GNT转移到前面的LLFF数据集（LPIPS〜20％，SSIM〜25％$）和合成搅拌器数据集（LPIPS〜20％，SSIM 〜25％$）时，GNN会始终达到最先进的性能4％）。此外，我们表明可以从学习的注意图中推断出深度和遮挡，这意味着纯粹的注意机制能够学习一个物理地面渲染过程。所有这些结果使我们更接近将变形金刚作为“通用建模工具”甚至用于图形的诱人希望。请参阅我们的项目页面以获取视频结果：https：//vita-group.github.io/gnt/。

Input: 3 views of held-out scene NeRF pixelNeRF Output: Rendered new views Input Novel views Input Novel views Input Novel views Figure 1: NeRF from one or few images. We present pixelNeRF, a learning framework that predicts a Neural Radiance Field (NeRF) representation from a single (top) or few posed images (bottom). PixelNeRF can be trained on a set of multi-view images, allowing it to generate plausible novel view synthesis from very few input images without test-time optimization (bottom left). In contrast, NeRF has no generalization capabilities and performs poorly when only three input views are available (bottom right).

尽管神经辐射场（NERF）在新型视图合成方面表现出了令人印象深刻的进步，但大多数方法通常需要具有准确的相机姿势的同一场景的多个输入图像。在这项工作中，我们试图将输入实质上减少到单个未予以的图像。现有的方法在本地图像功能上有条件重建一个3D对象，但通常会在远离源视图的视点处进行模糊的预测。为了解决这个问题，我们建议利用全球和本地功能形成表现力的3D表示。全局功能是从视觉变压器中学到的，而本地功能则从2D卷积网络中提取。为了综合一种新型视图，我们训练以学习的3D表示条件进行量渲染的多层感知器（MLP）网络。这种新颖的3D表示允许网络重建看不见的区域，而无需执行对称或规范坐标系等约束。我们的方法只能从单个输入图像中渲染新视图，并使用单个模型在多个对象类别中概括。定量和定性评估表明，所提出的方法可实现最先进的绩效，并使细节比现有方法更丰富。

We present a method that synthesizes novel views of complex scenes by interpolating a sparse set of nearby views. The core of our method is a network architecture that includes a multilayer perceptron and a ray transformer that estimates radiance and volume density at continuous 5D locations (3D spatial locations and 2D viewing directions), drawing appearance information on the fly from multiple source views. By drawing on source views at render time, our method hearkens back to classic work on image-based rendering (IBR), and allows us to render high-resolution imagery. Unlike neural scene representation work that optimizes per-scene functions for rendering, we learn a generic view interpolation function that generalizes to novel scenes. We render images using classic volume rendering, which is fully differentiable and allows us to train using only multiview posed images as supervision. Experiments show that our method outperforms recent novel view synthesis methods that also seek to generalize to novel scenes. Further, if fine-tuned on each scene, our method is competitive with state-of-the-art single-scene neural rendering methods. 1

我们提出了HRF-NET，这是一种基于整体辐射场的新型视图合成方法，该方法使用一组稀疏输入来呈现新视图。最近的概括视图合成方法还利用了光辉场，但渲染速度不是实时的。现有的方法可以有效地训练和呈现新颖的观点，但它们无法概括地看不到场景。我们的方法解决了用于概括视图合成的实时渲染问题，并由两个主要阶段组成：整体辐射场预测指标和基于卷积的神经渲染器。该架构不仅基于隐式神经场的一致场景几何形状，而且还可以使用单个GPU有效地呈现新视图。我们首先在DTU数据集的多个3D场景上训练HRF-NET，并且网络只能仅使用光度损耗就看不见的真实和合成数据产生合理的新视图。此外，我们的方法可以利用单个场景的密集参考图像集来产生准确的新颖视图，而无需依赖其他明确表示，并且仍然保持了预训练模型的高速渲染。实验结果表明，HRF-NET优于各种合成和真实数据集的最先进的神经渲染方法。

我们探索了基于神经光场表示的几种新颖观点合成的新策略。给定目标摄像头姿势，隐式神经网络将每个射线映射到其目标像素的颜色。该网络的条件是根据来自显式3D特征量的粗量渲染产生的本地射线特征。该卷是由使用3D Convnet的输入图像构建的。我们的方法在基于最先进的神经辐射场竞争方面，在合成和真实MVS数据上实现了竞争性能，同时提供了100倍的渲染速度。

我们引入了一个相机重新定位管道，该管道结合了绝对姿势回归（APR）和直接功能匹配。通过结合曝光自适应的新视图综合，我们的方法成功地解决了现有基于光度法方法无法处理的室外环境中的光度扭曲。借助域不变的功能匹配，我们的解决方案通过对未标记数据的半监督学习提高了姿势回归精度。特别是，该管道由两个组成部分组成：新型视图合成器和DFNET。前者综合了新的视图，以补偿暴露的变化，后者会回归摄像头的姿势，并提取了可靠的功能，这些特征弥补了真实图像和合成图像之间的域间隙。此外，我们引入了在线合成数据生成方案。我们表明，这些方法有效地增强了室内和室外场景中的相机姿势估计。因此，我们的方法通过优于现有的单位图APR方法高达56％，可与基于3D结构的方法相当。

我们研究了从3D对象组成的场景的稀疏源观察的新型视图综合的问题。我们提出了一种简单但有效的方法，既不是持续的也不是隐含的，挑战近期观测综合的趋势。我们的方法将观察显式编码为启用摊销渲染的体积表示。我们证明，虽然由于其表现力，但由于其表现力，但由于其富有力的力量，我们的简单方法获得了与最新的基线的比较比较了与最先进的基线的相当甚至更好的新颖性重建质量，同时增加了渲染速度超过400倍。我们的模型采用类别无关方式培训，不需要特定于场景的优化。因此，它能够将新颖的视图合成概括为在训练期间未见的对象类别。此外，我们表明，通过简单的制定，我们可以使用视图综合作为自我监控信号，以便在没有明确的3D监督的情况下高效学习3D几何。

代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。

从物体及其在3D空间中的几何形状方面对世界的组成理解被认为是人类认知的基石。促进神经网络中这种表示形式的学习有望实质上提高标记的数据效率。作为朝着这个方向发展的关键步骤，我们在学习3D一致的复杂场景分解的问题上取得了进展，以无监督的方式将复杂场景分解为单个对象。我们介绍对象场景表示变压器（OSRT），这是一个以3D为中心的模型，其中各个对象表示通过新颖的视图合成自然出现。 OSRT比现有方法更为复杂，具有更大的对象和背景的复杂场景。同时，由于其光场参数化和新型的插槽混合器解码器，它在组成渲染时的多个数量级更快。我们认为，这项工作不仅将加速未来的建筑探索和扩展工作，而且还将成为以对象为中心和神经场景表示社区的有用工具。

新型视图合成（NVS）是一项具有挑战性的任务，需要系统从新观点中生成场景的影像图像，在新观点中，质量和速度对应用都很重要。以前的基于图像的渲染（IBR）方法很快，但是当输入视图稀疏时质量较差。最近的神经辐射场（NERF）和可推广的变体可带来令人印象深刻的结果，但不是实时的。在我们的论文中，我们提出了一种具有稀疏输入的可推广的NVS方法，称为FWD，该方法可实时提供高质量的合成。凭借明确的深度和可区分的渲染，它以130-1000 X的加速和更好的感知质量取得了SOTA方法的竞争结果。如果有的话，我们可以在训练或推理过程中无缝整合传感器深度，以提高图像质量，同时保持实时速度。随着深度传感器的越来越多的流行率，我们希望使用深度的方法将变得越来越有用。

我们提出了一个基于变压器的NERF（Transnerf），以学习在新视图合成任务的观察视图图像上进行的通用神经辐射场。相比之下，现有的基于MLP的NERF无法直接接收具有任意号码的观察视图，并且需要基于辅助池的操作来融合源视图信息，从而导致源视图与目标渲染视图之间缺少复杂的关系。此外，当前方法分别处理每个3D点，忽略辐射场场景表示的局部一致性。这些局限性可能会在挑战现实世界应用中降低其性能，在这些应用程序中可能存在巨大的差异和新颖的渲染视图之间的巨大差异。为了应对这些挑战，我们的Transnerf利用注意机制自然地将任意数量的源视图的深层关联解码为基于坐标的场景表示。在统一变压器网络中，在射线铸造空间和周围视图空间中考虑了形状和外观的局部一致性。实验表明，与基于图像的最先进的基于图像的神经渲染方法相比，我们在各种场景上接受过培训的Transnf可以在场景 - 敏捷和每个场景的燃烧场景中获得更好的性能。源视图与渲染视图之间的差距很大。

我们向渲染和时间（4D）重建人类的渲染和时间（4D）重建的神经辐射场，通过稀疏的摄像机捕获或甚至来自单眼视频。我们的方法将思想与神经场景表示，新颖的综合合成和隐式统计几何人称的人类表示相结合，耦合使用新颖的损失功能。在先前使用符号距离功能表示的结构化隐式人体模型，而不是使用统一的占用率来学习具有统一占用的光域字段。这使我们能够从稀疏视图中稳健地融合信息，并概括超出在训练中观察到的姿势或视图。此外，我们应用几何限制以共同学习观察到的主题的结构 - 包括身体和衣服 - 并将辐射场正规化为几何合理的解决方案。在多个数据集上的广泛实验证明了我们方法的稳健性和准确性，其概括能力显着超出了一系列的姿势和视图，以及超出所观察到的形状的统计外推。

自从神经辐射场（NERF）出现以来，神经渲染引起了极大的关注，并且已经大大推动了新型视图合成的最新作品。最近的重点是在模型上过度适合单个场景，以及学习模型的一些尝试，这些模型可以综合看不见的场景的新型视图，主要包括将深度卷积特征与类似NERF的模型组合在一起。我们提出了一个不同的范式，不需要深层特征，也不需要类似NERF的体积渲染。我们的方法能够直接从现场采样的贴片集中直接预测目标射线的颜色。我们首先利用表现几何形状沿着每个参考视图的异性线提取斑块。每个贴片线性地投影到1D特征向量和一系列变压器处理集合中。对于位置编码，我们像在光场表示中一样对射线进行参数化，并且至关重要的差异是坐标是相对于目标射线的规范化的，这使我们的方法与参考帧无关并改善了概括。我们表明，即使接受比先前的工作要少得多的数据训练，我们的方法在新颖的综合综合方面都超出了最新的视图综合。

We introduce ViewNeRF, a Neural Radiance Field-based viewpoint estimation method that learns to predict category-level viewpoints directly from images during training. While NeRF is usually trained with ground-truth camera poses, multiple extensions have been proposed to reduce the need for this expensive supervision. Nonetheless, most of these methods still struggle in complex settings with large camera movements, and are restricted to single scenes, i.e. they cannot be trained on a collection of scenes depicting the same object category. To address these issues, our method uses an analysis by synthesis approach, combining a conditional NeRF with a viewpoint predictor and a scene encoder in order to produce self-supervised reconstructions for whole object categories. Rather than focusing on high fidelity reconstruction, we target efficient and accurate viewpoint prediction in complex scenarios, e.g. 360{\deg} rotation on real data. Our model shows competitive results on synthetic and real datasets, both for single scenes and multi-instance collections.

While object reconstruction has made great strides in recent years, current methods typically require densely captured images and/or known camera poses, and generalize poorly to novel object categories. To step toward object reconstruction in the wild, this work explores reconstructing general real-world objects from a few images without known camera poses or object categories. The crux of our work is solving two fundamental 3D vision problems -- shape reconstruction and pose estimation -- in a unified approach. Our approach captures the synergies of these two problems: reliable camera pose estimation gives rise to accurate shape reconstruction, and the accurate reconstruction, in turn, induces robust correspondence between different views and facilitates pose estimation. Our method FORGE predicts 3D features from each view and leverages them in conjunction with the input images to establish cross-view correspondence for estimating relative camera poses. The 3D features are then transformed by the estimated poses into a shared space and are fused into a neural radiance field. The reconstruction results are rendered by volume rendering techniques, enabling us to train the model without 3D shape ground-truth. Our experiments show that FORGE reliably reconstructs objects from five views. Our pose estimation method outperforms existing ones by a large margin. The reconstruction results under predicted poses are comparable to the ones using ground-truth poses. The performance on novel testing categories matches the results on categories seen during training. Project page: https://ut-austin-rpl.github.io/FORGE/

我们提出了一种无监督的方法，用于对铰接对象的3D几何形式表示学习，其中不使用图像置态对或前景口罩进行训练。尽管可以通过现有的3D神经表示的明确姿势控制铰接物体的影像图像，但这些方法需要地面真相3D姿势和前景口罩进行训练，这是昂贵的。我们通过学习GAN培训来学习表示形式来消除这种需求。该发电机经过训练，可以通过对抗训练从随机姿势和潜在向量产生逼真的铰接物体图像。为了避免GAN培训的高计算成本，我们提出了基于三平面的铰接对象的有效神经表示形式，然后为其无监督培训提供了基于GAN的框架。实验证明了我们方法的效率，并表明基于GAN的培训可以在没有配对监督的情况下学习可控的3D表示。

新型视图综合的古典光场渲染可以准确地再现视图依赖性效果，例如反射，折射和半透明，但需要一个致密的视图采样的场景。基于几何重建的方法只需要稀疏的视图，但不能准确地模拟非兰伯语的效果。我们介绍了一个模型，它结合了强度并减轻了这两个方向的局限性。通过在光场的四维表示上操作，我们的模型学会准确表示依赖视图效果。通过在训练和推理期间强制执行几何约束，从稀疏的视图集中毫无屏蔽地学习场景几何。具体地，我们介绍了一种基于两级变压器的模型，首先沿着ePipoll线汇总特征，然后沿参考视图聚合特征以产生目标射线的颜色。我们的模型在多个前进和360 {\ DEG}数据集中优于最先进的，具有较大的差别依赖变化的场景更大的边缘。