我们考虑使用系统的光学成像过程与卷积神经网络（CNN）来解决快照高光谱成像重建问题，其使用双相机系统以压缩方式捕获三维高光谱图像（HSIS）。近年来已经开发了使用CNN的各种方法来重建HSI，但大多数监督的深度学习方法旨在符合捕获的压缩图像和标准HSI之间的蛮力映射关系。因此，当观察数据偏离训练数据时，学习的映射将无效。特别是，我们通常在现实方案中没有地面真相。在本文中，我们提出了一个自我监督的双摄像机设备，具有未经训练的物理信息的CNNS框架。广泛的模拟和实验结果表明，我们没有培训的方法可以适应具有良好性能的广泛成像环境。此外，与基于培训的方法相比，我们的系统可以在现实方案中不断微调和自我改善。

光谱压缩成像（SCI）能够将高维高光谱图像编码为2D测量，然后使用算法来重建时空光谱数据处。目前，SCI的主要瓶颈是重建算法，最新的（SOTA）重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中，我们提出了一个新型的混合网络模块，即CCOT（卷积和上下文变压器）块，该模块可以同时获得卷积的感应偏见和强大的变压器建模能力，并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中，并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验，我们提出的模型可实现更高的重建质量（$> $> $> $> $ 2db的PSNR在模拟基准数据集中）和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。

高光谱成像由于其在捕获丰富的空间和光谱信息的能力上提供了多功能应用，这对于识别物质至关重要。但是，获取高光谱图像的设备昂贵且复杂。因此，已经通过直接从低成本，更多可用的RGB图像重建高光谱信息来提出了许多替代光谱成像方法。我们详细研究了来自广泛的RGB图像的这些最先进的光谱重建方法。对25种方法的系统研究和比较表明，尽管速度较低，但大多数数据驱动的深度学习方法在重建精度和质量方面都优于先前的方法。这项全面的审查可以成为同伴研究人员的富有成果的参考来源，从而进一步启发了相关领域的未来发展方向。

编码的光圈快照光谱成像（CASSI）是一种用于从一个或几个二维投影测量值重建三维高光谱图像（HSI）的技术。但是，较少的投影测量或更多的光谱通道导致了严重的问题，在这种情况下，必须应用正则化方法。为了显着提高重建的准确性，本文提出了一种基于自然图像的稀疏性和深层图像先验（FAMA-SDIP）的快速交流最小化算法。通过将深层图像（DIP）集成到压缩感应（CS）重建原理中，提出的算法可以在没有任何培训数据集的情况下实现最新结果。广泛的实验表明，FAMA-SDIP方法显着优于模拟和实际HSI数据集的主要主要方法。

深度学习模型是压缩光谱成像（CSI）恢复的最新模型。这些方法使用深神网络（DNN）作为图像发生器来学习从压缩测量到光谱图像的非线性映射。例如，深频谱先验方法在优化算法中使用卷积自动编码器网络（CAE）通过使用非线性表示来恢复光谱图像。但是，CAE训练与恢复问题分离，这不能保证CSI问题的光谱图像的最佳表示。这项工作提出了联合非线性表示和恢复网络（JR2NET），将表示和恢复任务链接到单个优化问题。 JR2NET由ADMM公式遵循优化启发的网络组成，该网络学习了非线性低维表示，并同时执行通过端到端方法训练的光谱图像恢复。实验结果表明，该方法的优势在PSNR中的改进高达2.57 dB，并且性能比最新方法快2000倍。

Spatially varying spectral modulation can be implemented using a liquid crystal spatial light modulator (SLM) since it provides an array of liquid crystal cells, each of which can be purposed to act as a programmable spectral filter array. However, such an optical setup suffers from strong optical aberrations due to the unintended phase modulation, precluding spectral modulation at high spatial resolutions. In this work, we propose a novel computational approach for the practical implementation of phase SLMs for implementing spatially varying spectral filters. We provide a careful and systematic analysis of the aberrations arising out of phase SLMs for the purposes of spatially varying spectral modulation. The analysis naturally leads us to a set of "good patterns" that minimize the optical aberrations. We then train a deep network that overcomes any residual aberrations, thereby achieving ideal spectral modulation at high spatial resolution. We show a number of unique operating points with our prototype including dynamic spectral filtering, material classification, and single- and multi-image hyperspectral imaging.

Multispectral imaging has been used for numerous applications in e.g., environmental monitoring, aerospace, defense, and biomedicine. Here, we present a diffractive optical network-based multispectral imaging system trained using deep learning to create a virtual spectral filter array at the output image field-of-view. This diffractive multispectral imager performs spatially-coherent imaging over a large spectrum, and at the same time, routes a pre-determined set of spectral channels onto an array of pixels at the output plane, converting a monochrome focal plane array or image sensor into a multispectral imaging device without any spectral filters or image recovery algorithms. Furthermore, the spectral responsivity of this diffractive multispectral imager is not sensitive to input polarization states. Through numerical simulations, we present different diffractive network designs that achieve snapshot multispectral imaging with 4, 9 and 16 unique spectral bands within the visible spectrum, based on passive spatially-structured diffractive surfaces, with a compact design that axially spans ~72 times the mean wavelength of the spectral band of interest. Moreover, we experimentally demonstrate a diffractive multispectral imager based on a 3D-printed diffractive network that creates at its output image plane a spatially-repeating virtual spectral filter array with 2x2=4 unique bands at terahertz spectrum. Due to their compact form factor and computation-free, power-efficient and polarization-insensitive forward operation, diffractive multispectral imagers can be transformative for various imaging and sensing applications and be used at different parts of the electromagnetic spectrum where high-density and wide-area multispectral pixel arrays are not widely available.

高光谱图像（HSI）没有额外辅助图像的超分辨率仍然是由于其高维光谱图案的恒定挑战，其中学习有效的空间和光谱表示是基本问题。最近，隐式的神经表示（INR）正在进行进步，作为新颖且有效的代表，特别是在重建任务中。因此，在这项工作中，我们提出了一种基于INR的新颖的HSI重建模型，其通过将空间坐标映射到其对应的光谱辐射值值的连续函数来表示HSI。特别地，作为INR的特定实现，参数模型的参数是通过使用卷积网络在特征提取的超通知来预测的。它使连续功能以内容感知方式将空间坐标映射到像素值。此外，周期性空间编码与重建过程深度集成，这使得我们的模型能够恢复更高的频率细节。为了验证我们模型的功效，我们在三个HSI数据集（洞穴，NUS和NTIRE2018）上进行实验。实验结果表明，与最先进的方法相比，该建议的模型可以实现竞争重建性能。此外，我们提供了对我们模型各个组件的效果的消融研究。我们希望本文可以服务器作为未来研究的效率参考。

为了解决高光谱图像超分辨率（HSISR）的不良问题，通常方法是使用高光谱图像（HSIS）的先前信息作为正则化术语来限制目标函数。使用手工制作前沿的基于模型的方法无法完全表征HSI的性质。基于学习的方法通常使用卷积神经网络（CNN）来学习HSI的隐式前导者。然而，CNN的学习能力是有限的，它仅考虑HSI的空间特性并忽略光谱特性，并且卷积对远程依赖性建模无效。还有很多改进的空间。在本文中，我们提出了一种新颖的HSISR方法，该方法使用变压器而不是CNN来学习HSI之前。具体地，我们首先使用近端梯度算法来解决HSISR模型，然后使用展开网络来模拟迭代解决方案过程。变压器的自我注意层使其具有空间全局互动的能力。此外，我们在变压器层后面添加3D-CNN，以更好地探索HSIS的时空相关性。两个广泛使用的HSI数据集和实际数据集的定量和视觉结果证明，与所有主流算法相比，所提出的方法实现了相当大的增益，包括最竞争力的传统方法和最近提出的基于深度学习的方法。

高光谱成像是各种应用的基本成像模型，尤其是遥感，农业和医学。灵感来自现有的高光谱相机，可以慢，昂贵或笨重，从低预算快照测量中重建高光谱图像（HSIS）已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中，近期深度展开网络（DUNS）用于光谱快照压缩感应（SCI）已经取得了显着的成功。然而，DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中，我们提出了一种新的高光谱可分解的重建和最佳采样深度网络，用于SCI，被称为HeroSnet，其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵，并在梯度下降步骤中进行上下文调整步骤，以及分层熔断器，并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时，终端实现硬件友好的最佳二进制掩模，以进一步提高重建性能。最后，我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。

Lensless cameras are a class of imaging devices that shrink the physical dimensions to the very close vicinity of the image sensor by replacing conventional compound lenses with integrated flat optics and computational algorithms. Here we report a diffractive lensless camera with spatially-coded Voronoi-Fresnel phase to achieve superior image quality. We propose a design principle of maximizing the acquired information in optics to facilitate the computational reconstruction. By introducing an easy-to-optimize Fourier domain metric, Modulation Transfer Function volume (MTFv), which is related to the Strehl ratio, we devise an optimization framework to guide the optimization of the diffractive optical element. The resulting Voronoi-Fresnel phase features an irregular array of quasi-Centroidal Voronoi cells containing a base first-order Fresnel phase function. We demonstrate and verify the imaging performance for photography applications with a prototype Voronoi-Fresnel lensless camera on a 1.6-megapixel image sensor in various illumination conditions. Results show that the proposed design outperforms existing lensless cameras, and could benefit the development of compact imaging systems that work in extreme physical conditions.

作为一种引起巨大关注的新兴技术，通过分析继电器表面上的漫反射来重建隐藏物体的非视线（NLOS）成像，具有广泛的应用前景，在自主驾驶，医学成像和医学成像领域防御。尽管信噪比低（SNR）和高不良效率的挑战，但近年来，NLOS成像已迅速发展。大多数当前的NLOS成像技术使用传统的物理模型，通过主动或被动照明构建成像模型，并使用重建算法来恢复隐藏场景。此外，NLOS成像的深度学习算法最近也得到了很多关注。本文介绍了常规和深度学习的NLOS成像技术的全面概述。此外，我们还调查了新的拟议的NLOS场景，并讨论了现有技术的挑战和前景。这样的调查可以帮助读者概述不同类型的NLOS成像，从而加速了在角落周围看到的发展。

深度学习的快速发展为高光谱图像（HSI）的端到端重建提供了更好的解决方案。但是，现有的基于学习的方法有两个主要缺陷。首先，具有自我注意力的网络通常会牺牲内部分辨率，以平衡模型性能与复杂性，失去细粒度的高分辨率（HR）功能。其次，即使专注于空间光谱域学习（SDL）的优化也会收敛到理想解决方案，但重建的HSI与真相之间仍然存在显着的视觉差异。因此，我们为HSI重建提出了一个高分辨率双域学习网络（HDNET）。一方面，提出的及其有效特征融合的人力资源空间光谱注意模块可提供连续且精细的像素级特征。另一方面，引入了频域学习（FDL），以供HSI重建以缩小频域差异。动态FDL监督迫使模型重建细粒频率，并补偿由像素级损失引起的过度平滑和失真。我们的HDNET相互促进HSI感知质量的人力资源像素水平的注意力和频率级别的完善。广泛的定量和定性评估实验表明，我们的方法在模拟和真实的HSI数据集上实现了SOTA性能。代码和模型将在https://github.com/caiyuanhao1998/mst上发布

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

光谱超分辨率（SSR）是指从RGB对应物中恢复的高光谱图像（HSI）。由于SSR问题的一对多性，可以将单个RGB图像恢复到许多HSIS。解决这个暗示问题的关键是插入多源以前的信息，如自然RGB空间上下文的上下文，深度特征或固有的HSI统计事先等，以提高重建的置信度和保真度光谱。然而，大多数目前的方法只考虑设计定制的卷积神经网络（CNN）的一般和有限的前瞻，这导致无法有效地减轻不良程度。为解决有问题的问题，我们为SSR提出了一个新颖的全面的先前嵌入关系网络（HPRN）。基本上，核心框架由几个多剩余关系块（MRB）进行多种组装，其完全便于RGB信号之前的低频内容的传输和利用。创新性地，引入了RGB输入的语义之前，以识别类别属性，并且向前提出了语义驱动的空间关系模块（SSRM）以使用语义嵌入关系矩阵在聚类的类似特征之间执行特征聚合。此外，我们开发了一种基于变换器的通道关系模块（TCRM），其习惯使用标量作为先前深度特征中的频道方面关系的描述符，并用某些向量替换为变换器特征交互，支持表示更加歧视。为了保持高光谱频带之间的数学相关和光谱一致性，将二阶的先前约束（SOPC）结合到丢失功能中以引导HSI重建过程。

Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is of high possibility to be degraded due to noises and distortions. In this paper, we propose two novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (i.e., signal and object)-domain curvature regularization model. Fast numerical optimization algorithms are developed relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, which are further accelerated by GPU implementation. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.

计算光学成像（COI）系统利用其设置中的光学编码元素（CE）在单个或多个快照中编码高维场景，并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计：CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是，深神经网络（DNNS）的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线，该设计共同考虑了光学编码器和计算解码器。具体而言，通过通过完全可区分的图像形成模型对COI测量进行建模，该模型考虑了基于物理的光及其与CES的相互作用，可以在端到端优化定义CE和计算解码器的参数和计算解码器（e2e）方式。此外，通过在同一框架中仅优化CE，可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展，并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序，因此我们提出低级任务，例如光谱成像重建或高级任务，例如使用基于任务的光学光学体系结构来增强隐私的姿势估计，以维护姿势估算。最后，我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。

由少量镜头组成的全景环形镜头（PAL）在全景周围具有巨大潜力，该镜头围绕着移动和可穿戴设备的传感任务，因为其尺寸很小，并且视野很大（FOV）。然而，由于缺乏畸变校正的镜头，小体积PAL的图像质量仅限于光学极限。在本文中，我们提出了一个环形计算成像（ACI）框架，以打破轻质PAL设计的光学限制。为了促进基于学习的图像恢复，我们引入了基于波浪的模拟管道，用于全景成像，并通过多个数据分布来应对合成间隙。提出的管道可以轻松地适应具有设计参数的任何PAL，并且适用于宽松的设计。此外，我们考虑了全景成像和物理知识学习的物理先验，我们设计了物理知情的图像恢复网络（PI2RNET）。在数据集级别，我们创建了Divpano数据集，其广泛的实验表明，我们提出的网络在空间变化的降级下在全景图像恢复中设置了新的最新技术。此外，对只有3个球形镜头的简单PAL上提议的ACI的评估揭示了高质量全景成像与紧凑设计之间的微妙平衡。据我们所知，我们是第一个探索PAL中计算成像（CI）的人。代码和数据集将在https://github.com/zju-jiangqi/aci-pi2rnet上公开提供。

快速移动对象的检测和跟踪在许多领域都具有广泛的实用性。但是，由于复杂的计算和有限的数据处理能力，使用基于图像的技术满足快速有效检测和跟踪的这种需求是有问题的。为了解决这个问题，我们提出了一种无图像的方法，以实现快速移动对象的实时检测和跟踪。它采用Hadamard模式通过空间光调节器来照亮快速移动对象，其中单像素检测器收集所得的光信号。单像素测量值直接用于无需图像重建而无需重建位置信息。此外，一种新的采样方法用于优化实现超低采样率的模式投影方法。与最先进的方法相比，我们的方法不仅能够处理实时检测和跟踪，而且还具有少量计算和高效率。我们在实验上证明，使用22kHz数字微型摩尔设备的提出方法可以在跟踪时以1.28％的采样速率实现105FPS帧速率。我们的方法突破了传统的跟踪方式，可以在无图像重建的情况下实现对象实时跟踪。

随着深度学习技术的发展，基于卷积神经网络的多光谱图像超分辨率方法最近取得了很大的进展。然而，由于高光谱数据的高维和复谱特性，单个高光谱图像超分辨率仍然是一个具有挑战性的问题，这使得难以同时捕获空间和光谱信息。要处理此问题，我们提出了一种新的反馈精确的本地 - 全球网络（FRLGN），用于超光谱图像的超级分辨率。具体而言，我们开发新的反馈结构和本地全局频谱块，以减轻空间和光谱特征提取的难度。反馈结构可以传输高电平信息以指导低级特征的生成过程，其通过具有有限展开的经常性结构实现。此外，为了有效地使用所传回的高电平信息，构造局部全局频谱块以处理反馈连接。本地 - 全局频谱块利用反馈高级信​​息来校正来自局部光谱频带的低级功能，并在全局光谱频带之间产生强大的高级表示。通过结合反馈结构和局部全局光谱块，FRLGN可以充分利用光谱带之间的空间光谱相关性，并逐渐重建高分辨率高光谱图像。 FRLGN的源代码在https://github.com/tangzhenjie/frlgn上获得。