与基于离散网格的表示相比，通过基于坐标的深层完全连接网络表示视觉信号在拟合复杂的细节和求解逆问题方面有优势。但是，获得这种连续的隐式神经表示（INR）需要对信号测量值进行繁琐的人均培训，这限制了其实用性。在本文中，我们提出了一个通用的INR框架，该框架通过从数据收集中学习神经隐式词典（NID）来实现数据和培训效率，并将INR表示为词典的基础采样的功能组合。我们的NID组装了一组基于坐标的子网，这些子网已调整为跨越所需的函数空间。训练后，可以通过求解编码系数立即，稳健地获取看不见的场景表示形式。为了使大量网络优化，我们借用了从专家的混合物（MOE）借用这个想法，以设计和训练我们的网络，以稀疏的门控机制。我们的实验表明，NID可以将2D图像或3D场景的重建提高2个数量级，而输入数据少98％。我们进一步证明了NID在图像浇筑和遮挡清除中的各种应用，这被认为是香草INR的挑战。我们的代码可在https://github.com/vita-group/neural-implitic-dict中找到。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

我们提出了一种从一个或几种视图中重建人头的纹理3D网眼的方法。由于如此少的重建​​缺乏约束，因此需要先验知识，这很难强加于传统的3D重建算法。在这项工作中，我们依靠最近引入的3D表示$ \ unicode {x2013} $ neural隐式函数$ \ unicode {x2013} $，它基于神经网络，允许自然地从数据中学习有关人类头的先验，并且直接转换为纹理网格。也就是说，我们扩展了Neus（一种最新的神经隐式函数公式），以同时代表类的多个对象（在我们的情况下）。潜在的神经网架构旨在学习这些物体之间的共同点，并概括地看不见。我们的模型仅在一百个智能手机视频上进行培训，不需要任何扫描的3D数据。之后，该模型可以以良好的效果以几种镜头或一次性模式适合新颖的头。

Implicitly defined, continuous, differentiable signal representations parameterized by neural networks have emerged as a powerful paradigm, offering many possible benefits over conventional representations. However, current network architectures for such implicit neural representations are incapable of modeling signals with fine detail, and fail to represent a signal's spatial and temporal derivatives, despite the fact that these are essential to many physical signals defined implicitly as the solution to partial differential equations. We propose to leverage periodic activation functions for implicit neural representations and demonstrate that these networks, dubbed sinusoidal representation networks or SIRENs, are ideally suited for representing complex natural signals and their derivatives. We analyze SIREN activation statistics to propose a principled initialization scheme and demonstrate the representation of images, wavefields, video, sound, and their derivatives. Further, we show how SIRENs can be leveraged to solve challenging boundary value problems, such as particular Eikonal equations (yielding signed distance functions), the Poisson equation, and the Helmholtz and wave equations. Lastly, we combine SIRENs with hypernetworks to learn priors over the space of SIREN functions. Please see the project website for a video overview of the proposed method and all applications.

近年来，隐性神经表示（INR）已经出现并显示了其比离散表示的好处。但是，将INR拟合到给定的观察结果通常需要从头开始优化，这是效率低下的，并且在稀疏观测值中概括不佳。为了解决这个问题，大多数先前的作品都会训练一个生成单个向量来调节INR权重的超网络，其中单个向量成为限制输出INR重建精度的信息瓶颈。最近的工作表明，可以通过基于梯度的元学习来精确地推断出INR中的整个权重。由基于梯度的元学习的广义公式的动机，我们提出了一种使用变压器作为INRS的超网络的公式，它可以直接使用专门为设置映射的变压器构建整个INR权重。我们证明了我们在不同任务和域中构建INR的方法的有效性，包括2D图像回归和3D对象的查看合成。我们的工作吸引了变压器超网与基于梯度的元学习算法之间的连接，我们提供了进一步的分析，以理解生成的INRS。带代码的项目页面位于\ url {https://yinboc.github.io/trans-inr/}。

神经表面重建旨在基于多视图图像重建准确的3D表面。基于神经量的先前方法主要训练完全隐式的模型，它们需要单个场景的数小时培训。最近的努力探讨了明确的体积表示，该表示通过记住可学习的素网格中的重要信息，从而大大加快了优化过程。但是，这些基于体素的方法通常在重建细粒几何形状方面遇到困难。通过实证研究，我们发现高质量的表面重建取决于两个关键因素：构建相干形状的能力和颜色几何依赖性的精确建模。特别是，后者是准确重建细节的关键。受这些发现的启发，我们开发了Voxurf，这是一种基于体素的方法，用于有效，准确的神经表面重建，该方法由两个阶段组成：1）利用可学习的特征网格来构建颜色场并获得连贯的粗糙形状，并且2）使用双色网络来完善详细的几何形状，可捕获精确的颜色几何依赖性。我们进一步引入了层次几何特征，以启用跨体素的信息共享。我们的实验表明，Voxurf同时达到了高效率和高质量。在DTU基准测试中，与最先进的方法相比，Voxurf获得了更高的重建质量，训练的加速度为20倍。

最近隐含的神经表示（INRS）作为各种数据类型的新颖且有效的表现。到目前为止，事先工作主要集中在优化其重建性能。这项工作从新颖的角度来调查INRS，即作为图像压缩的工具。为此，我们提出了基于INR的第一综合压缩管线，包括量化，量化感知再培训和熵编码。使用INRS进行编码，即对数据示例的过度装备，通常是较慢的秩序。为缓解此缺点，我们基于MAML利用META学习初始化，以便在较少的渐变更新中达到编码，这也通常提高INR的速率失真性能。我们发现，我们对INR的源压缩方法非常优于类似的事先工作，具有专门针对图像专门设计的常见压缩算法，并将基于速率 - 失真自动分析器的差距缩小到最先进的学习方法。此外，我们提供了对我们希望促进这种新颖方法对图像压缩的未来研究的重要性的广泛消融研究。

我们提出了一个小说嵌入字段\ emph {pref}作为促进神经信号建模和重建任务的紧凑表示。基于纯的多层感知器（MLP）神经技术偏向低频信号，并依赖于深层或傅立叶编码以避免丢失细节。取而代之的是，基于傅立叶嵌入空间的相拟合公式，PREF采用了紧凑且物理上解释的编码场。我们进行全面的实验，以证明PERF比最新的空间嵌入技术的优势。然后，我们使用近似的逆傅里叶变换方案以及新型的parseval正常器来开发高效的频率学习框架。广泛的实验表明，我们的高效和紧凑的基于频率的神经信号处理技术与2D图像完成，3D SDF表面回归和5D辐射场现场重建相同，甚至比最新的。

Recent years we have witnessed rapid development in NeRF-based image rendering due to its high quality. However, point clouds rendering is somehow less explored. Compared to NeRF-based rendering which suffers from dense spatial sampling, point clouds rendering is naturally less computation intensive, which enables its deployment in mobile computing device. In this work, we focus on boosting the image quality of point clouds rendering with a compact model design. We first analyze the adaption of the volume rendering formulation on point clouds. Based on the analysis, we simplify the NeRF representation to a spatial mapping function which only requires single evaluation per pixel. Further, motivated by ray marching, we rectify the the noisy raw point clouds to the estimated intersection between rays and surfaces as queried coordinates, which could avoid \textit{spatial frequency collapse} and neighbor point disturbance. Composed of rasterization, spatial mapping and the refinement stages, our method achieves the state-of-the-art performance on point clouds rendering, outperforming prior works by notable margins, with a smaller model size. We obtain a PSNR of 31.74 on NeRF-Synthetic, 25.88 on ScanNet and 30.81 on DTU. Code and data are publicly available at https://github.com/seanywang0408/RadianceMapping.

Photorealistic rendering of real-world scenes is a tremendous challenge with a wide range of applications, including MR (Mixed Reality), and VR (Mixed Reality). Neural networks, which have long been investigated in the context of solving differential equations, have previously been introduced as implicit representations for Photorealistic rendering. However, realistic rendering using classic computing is challenging because it requires time-consuming optical ray marching, and suffer computational bottlenecks due to the curse of dimensionality. In this paper, we propose Quantum Radiance Fields (QRF), which integrate the quantum circuit, quantum activation function, and quantum volume rendering for implicit scene representation. The results indicate that QRF not only takes advantage of the merits of quantum computing technology such as high speed, fast convergence, and high parallelism, but also ensure high quality of volume rendering.

神经辐射场（NERF）通过通过地面真相监督差异渲染多视图图像来回归神经参数化场景。但是，当插值新颖的观点时，NERF通常会产生不一致和视觉上不平滑的几何结果，我们认为这是可见和看不见的观点之间的概括差距。卷积神经网络的最新进展表明，随机或学到的先进的强大数据增强有望增强分布和分布外的概括。受此启发，我们提出了增强的NERF（Aug-nerf），这首先将强大的数据增强功能带入正规化NERF培训。特别是，我们的提议学会了将最坏情况的扰动无缝融合到NERF管道的三个不同级别，并包括（1）输入坐标，以模拟图像捕获中的不精确的摄像机参数； （2）中间特征，以平滑固有特征歧管； （3）预先渲染的输出，以说明多视图图像监督中的潜在降解因子。广泛的结果表明，Aug-nerf在新型视图合成（高达1.5dB PSNR增益）和基础几何重建中有效地提高了NERF性能。此外，得益于三级增强的隐含平稳先验，Aug-nerf甚至可以从严重损坏的图像中恢复场景，这是一个高度挑战性的环境，以前没有被隔离。我们的代码可在https://github.com/vita-group/aug-nerf中找到。

Neural Radiance Field (NeRF), a new novel view synthesis with implicit scene representation has taken the field of Computer Vision by storm. As a novel view synthesis and 3D reconstruction method, NeRF models find applications in robotics, urban mapping, autonomous navigation, virtual reality/augmented reality, and more. Since the original paper by Mildenhall et al., more than 250 preprints were published, with more than 100 eventually being accepted in tier one Computer Vision Conferences. Given NeRF popularity and the current interest in this research area, we believe it necessary to compile a comprehensive survey of NeRF papers from the past two years, which we organized into both architecture, and application based taxonomies. We also provide an introduction to the theory of NeRF based novel view synthesis, and a benchmark comparison of the performance and speed of key NeRF models. By creating this survey, we hope to introduce new researchers to NeRF, provide a helpful reference for influential works in this field, as well as motivate future research directions with our discussion section.

通过隐式表示表示视觉信号（例如，基于坐标的深网）在许多视觉任务中都占了上风。这项工作探讨了一个新的有趣的方向：使用可以适用于各种2D和3D场景的广义方法训练风格化的隐式表示。我们对各种隐式函数进行了试点研究，包括基于2D坐标的表示，神经辐射场和签名距离函数。我们的解决方案是一个统一的隐式神经风化框架，称为INS。与Vanilla隐式表示相反，INS将普通隐式函数分解为样式隐式模块和内容隐式模块，以便从样式图像和输入场景中分别编码表示表示。然后，应用合并模块来汇总这些信息并合成样式化的输出。为了使3D场景中的几何形状进行正规化，我们提出了一种新颖的自我鉴定几何形状一致性损失，该损失保留了风格化场景的几何忠诚度。全面的实验是在多个任务设置上进行的，包括对复杂场景的新型综合，隐式表面的风格化以及使用MLP拟合图像。我们进一步证明，学到的表示不仅是连续的，而且在风格上都是连续的，从而导致不同样式之间毫不费力地插值，并以新的混合样式生成图像。请参阅我们的项目页面上的视频以获取更多查看综合结果：https：//zhiwenfan.github.io/ins。

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

在本文中，我们为复杂场景进行了高效且强大的深度学习解决方案。在我们的方法中，3D场景表示为光场，即，一组光线，每组在到达图像平面时具有相应的颜色。对于高效的新颖视图渲染，我们采用了光场的双面参数化，其中每个光线的特征在于4D参数。然后，我们将光场配向作为4D函数，即将4D坐标映射到相应的颜色值。我们训练一个深度完全连接的网络以优化这种隐式功能并记住3D场景。然后，特定于场景的模型用于综合新颖视图。与以前需要密集的视野的方法不同，需要密集的视野采样来可靠地呈现新颖的视图，我们的方法可以通过采样光线来呈现新颖的视图并直接从网络查询每种光线的颜色，从而使高质量的灯场呈现稀疏集合训练图像。网络可以可选地预测每光深度，从而使诸如自动重新焦点的应用。我们的小说视图合成结果与最先进的综合结果相当，甚至在一些具有折射和反射的具有挑战性的场景中优越。我们在保持交互式帧速率和小的内存占地面积的同时实现这一点。

我们介绍了一种新的神经表面重建方法，称为Neus，用于重建具有高保真的对象和场景，从2D图像输入。现有的神经表面重建方法，例如DVR和IDR，需要前景掩模作为监控，容易被捕获在局部最小值中，因此与具有严重自动遮挡或薄结构的物体的重建斗争。同时，新型观测合成的最近神经方法，例如Nerf及其变体，使用体积渲染来产生具有优化的稳健性的神经场景表示，即使对于高度复杂的物体。然而，从该学习的内隐式表示提取高质量表面是困难的，因为表示表示没有足够的表面约束。在Neus中，我们建议将表面代表为符号距离功能（SDF）的零级集，并开发一种新的卷渲染方法来训练神经SDF表示。我们观察到传统的体积渲染方法导致表面重建的固有的几何误差（即偏置），因此提出了一种新的制剂，其在第一阶的第一阶偏差中没有偏置，因此即使没有掩码监督，也导致更准确的表面重建。 DTU数据集的实验和BlendedMVS数据集显示，Neus在高质量的表面重建中优于最先进的，特别是对于具有复杂结构和自动闭塞的物体和场景。

深度学习中的最新工作重新想象了数据的表示形式，因为函数从坐标空间映射到基础连续信号。当神经网络近似此类功能时，这引入了更常见的多维阵列表示的引人注目的替代方案。关于这种隐式神经表示（INR）的最新工作表明，仔细体系结构搜索 - INR可以超越建立的压缩方法，例如JPEG（例如Dupont等，2021）。在本文中，我们提出了至关重要的步骤，以使这种想法可扩展：首先，我们采用最先进的网络稀疏技术来大大改善压缩。其次，引入第一种方法，允许在常用的元学习算法的内环中使用稀疏性，从而极大地改善了压缩和学习INR的计算成本。这种形式主义的普遍性使我们能够对各种数据模式提出结果，例如图像，歧管，签名距离功能，3D形状和场景，其中一些建立了新的最新结果。

We propose a differentiable sphere tracing algorithm to bridge the gap between inverse graphics methods and the recently proposed deep learning based implicit signed distance function. Due to the nature of the implicit function, the rendering process requires tremendous function queries, which is particularly problematic when the function is represented as a neural network. We optimize both the forward and backward passes of our rendering layer to make it run efficiently with affordable memory consumption on a commodity graphics card. Our rendering method is fully differentiable such that losses can be directly computed on the rendered 2D observations, and the gradients can be propagated backwards to optimize the 3D geometry. We show that our rendering method can effectively reconstruct accurate 3D shapes from various inputs, such as sparse depth and multi-view images, through inverse optimization. With the geometry based reasoning, our 3D shape prediction methods show excellent generalization capability and robustness against various noises. * Work done while Shaohui Liu was an academic guest at ETH Zurich.

神经隐式功能对于数据表示非常有效。但是，如果输入数据具有许多细节或含有低频和高频带宽，则神经网络学到的隐式功能通常包括意外的噪声或失去细节。在保留细尺度内容的同时，删除工件具有挑战性，通常会出现过度平滑或嘈杂的问题。为了解决这一难题，我们提出了一个新框架（FINN），该框架（FINN）将过滤模块集成到MLP中以执行数据重建，同时适应包含不同频率的区域。过滤模块的平滑操作员作用于网络的中间结果，鼓励结果是平滑的，并且恢复的操作员将高频带到区域过于光滑。两个反活性操作员在所有MLP层中连续播放，以适应重建。我们证明了Finn在几个任务上的优势，并与最新方法相比，展示了显着改善。此外，Finn在收敛速度和网络稳定性方面还能产生更好的性能。