使用单像素检测，联合优化编码和解码的端到端神经网络可以实现高精度成像和高电平语义传感。然而，对于不同的采样率，大规模网络需要重新培训，这是呈现的呈现和计算消耗。在这封信中，我们报告了一种加权优化技术，用于动态速率自适应单像素成像和感应，只需要培训网络一次可用于任何采样率的时间一次。具体地，我们在编码过程中引入一种新的加权方案，以表征不同的模式的调制效率。虽然网络以高采样速率训练，但是迭代地更新调制模式和相应的权重，这在融合时产生最佳排名编码串。在实验实施方案中，采用最高重量的最佳模式系列用于光调制，从而实现高效的成像和感测。报告的策略节省了现有动态单像素网络所需另一种低速速率网络的额外培训，这进一步加倍训练效率。验证了Mnist DataSet上的实验，通过采样率为1的网络培训，平均成像PSNR为0.1采样率达到23.50 dB，并且图像的图像分类精度达到高达95.00 \％，以0.03的采样率达到95.00 \％ 97.91 \％以0.1的采样率。

最近开发的图像无感测技术维持了灯具硬件和软件的优点，该软件已应用于简单的目标分类和运动跟踪。但是，在实际应用中，通常存在多个目标在视野中，其中现有的试验未能产生多语义信息。在这封信中，我们报告了一种新颖的自由感测技术，首次解决多目标识别挑战。与无图像单像素网络的卷积层堆叠不同，报告的CRNN网络实用程序双向LSTM架构可以同时预测多个字符的分布。框架可以捕获远程依赖项，提供多个字符的高识别精度。我们证明了该技术在车牌检测中的有效性，其识别精度为5％的采样率，具有高于100 FPS刷新率。

Most Deep Learning (DL) based Compressed Sensing (DCS) algorithms adopt a single neural network for signal reconstruction, and fail to jointly consider the influences of the sampling operation for reconstruction. In this paper, we propose unified framework, which jointly considers the sampling and reconstruction process for image compressive sensing based on well-designed cascade neural networks. Two sub-networks, which are the sampling sub-network and the reconstruction sub-network, are included in the proposed framework. In the sampling sub-network, an adaptive full connected layer instead of the traditional random matrix is used to mimic the sampling operator. In the reconstruction sub-network, a cascade network combining stacked denoising autoencoder (SDA) and convolutional neural network (CNN) is designed to reconstruct signals. The SDA is used to solve the signal mapping problem and the signals are initially reconstructed. Furthermore, CNN is used to fully recover the structure and texture features of the image to obtain better reconstruction performance. Extensive experiments show that this framework outperforms many other state-of-the-art methods, especially at low sampling rates.

与传统CS方法相比，基于深度学习（DL）的压缩传感（CS）已被应用于图像重建的更好性能。但是，大多数现有的DL方法都利用逐个块测量，每个测量块分别恢复，这引入了重建的有害阻塞效应。此外，这些方法的神经元接受场被设计为每一层的大小相同，这只能收集单尺度的空间信息，并对重建过程产生负面影响。本文提出了一个新的框架，称为CS测量和重建的多尺度扩张卷积神经网络（MSDCNN）。在测量期间，我们直接从训练有素的测量网络中获得所有测量，该测量网络采用了完全卷积结构，并通过输入图像与重建网络共同训练。它不必将其切成块，从而有效地避免了块效应。在重建期间，我们提出了多尺度特征提取（MFE）体系结构，以模仿人类视觉系统以捕获同一功能映射的多尺度特征，从而增强了框架的图像特征提取能力并提高了框架的性能并提高了框架的性能。影像重建。在MFE中，有多个并行卷积通道以获取多尺度特征信息。然后，将多尺度功能信息融合在一起，并以高质量重建原始图像。我们的实验结果表明，根据PSNR和SSIM，该提出的方法对最新方法的性能有利。

快速移动对象的检测和跟踪在许多领域都具有广泛的实用性。但是，由于复杂的计算和有限的数据处理能力，使用基于图像的技术满足快速有效检测和跟踪的这种需求是有问题的。为了解决这个问题，我们提出了一种无图像的方法，以实现快速移动对象的实时检测和跟踪。它采用Hadamard模式通过空间光调节器来照亮快速移动对象，其中单像素检测器收集所得的光信号。单像素测量值直接用于无需图像重建而无需重建位置信息。此外，一种新的采样方法用于优化实现超低采样率的模式投影方法。与最先进的方法相比，我们的方法不仅能够处理实时检测和跟踪，而且还具有少量计算和高效率。我们在实验上证明，使用22kHz数字微型摩尔设备的提出方法可以在跟踪时以1.28％的采样速率实现105FPS帧速率。我们的方法突破了传统的跟踪方式，可以在无图像重建的情况下实现对象实时跟踪。

单像素成像（SPI）是一种新型成像技术，其工作原理基于压缩感（CS）理论。在SPI中，数据是通过一系列压缩测量获得的，并重建了相应的图像。通常，重建算法（例如基础追求）依赖于图像中的稀疏性假设。但是，深度学习的最新进展发现了其在重建CS图像中的用途。尽管在模拟中显示出令人鼓舞的结果，但通常不清楚如何在实际的SPI设置中实现这种算法。在本文中，我们证明了对SPI图像的重建以及块压缩感（BCS）的重建。我们还提出了一个基于卷积神经网络的新型重建模型，该模型优于其他竞争性CS重建算法。此外，通过将BCS合并到我们的深度学习模型中，我们能够重建以上图像大小以上的任何大小的图像。此外，我们表明我们的模型能够重建从SPI设置获得的图像，同时接受自然图像进行训练，这可能与SPI图像大不相同。这为CS重建来自各个领域的图像重建的深度学习模型的可行性打开了机会。

计算光学成像（COI）系统利用其设置中的光学编码元素（CE）在单个或多个快照中编码高维场景，并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计：CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是，深神经网络（DNNS）的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线，该设计共同考虑了光学编码器和计算解码器。具体而言，通过通过完全可区分的图像形成模型对COI测量进行建模，该模型考虑了基于物理的光及其与CES的相互作用，可以在端到端优化定义CE和计算解码器的参数和计算解码器（e2e）方式。此外，通过在同一框架中仅优化CE，可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展，并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序，因此我们提出低级任务，例如光谱成像重建或高级任务，例如使用基于任务的光学光学体系结构来增强隐私的姿势估计，以维护姿势估算。最后，我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。

在图像压缩传感（CS）中将深层神经网络纳入了最近在多媒体技术和应用中的密集关注。随着深网接近，直接从CS测量中了解了反映射，重建速度的速度明显快于常规CS算法。但是，对于现有的基于网络的方法，CS采样过程必须映射单独的网络模型。由于封锁伪像，这可能会降低图像CS的性能，尤其是当将多个采样率分配给图像中的不同块时。在本文中，我们通过利用与性能显着超过当前最新方法的间隔相关性来开发一个用于基于块的图像CS的多通道深网。显着的性能改善归因于块近似，但完全去除了封闭伪像的图像。具体而言，使用我们的多通道结构，可以在单个模型中重建具有多种采样率的图像块。然后，最初重建的块能够将其重新组装成完整的图像中，以通过展开基于手动设计的基于手动设计的CS恢复算法来改善恢复的图像。实验结果表明，所提出的方法在客观指标和主观视觉图像质量方面优于最先进的CS方法。我们的源代码可从https://github.com/siwangzhou/deepbcs获得。

光学成像通常用于行业和学术界的科学和技术应用。在图像传感中，通过数字化图像的计算分析来执行一个测量，例如对象的位置。新兴的图像感应范例通过设计光学组件来执行不进行成像而是编码，从而打破了数据收集和分析之间的描述。通过将图像光学地编码为适合有效分析后的压缩，低维的潜在空间，这些图像传感器可以以更少的像素和更少的光子来工作，从而可以允许更高的直通量，较低的延迟操作。光学神经网络（ONNS）提供了一个平台，用于处理模拟，光学域中的数据。然而，基于ONN的传感器仅限于线性处理，但是非线性是深度的先决条件，而多层NNS在许多任务上的表现都大大优于浅色。在这里，我们使用商业图像增强器作为平行光电子，光学到光学非线性激活函数，实现用于图像传感的多层预处理器。我们证明，非线性ONN前处理器可以达到高达800：1的压缩率，同时仍然可以在几个代表性的计算机视觉任务中高精度，包括机器视觉基准测试，流程度图像分类以及对对象中对象的识别，场景。在所有情况下，我们都会发现ONN的非线性和深度使其能够胜过纯线性ONN编码器。尽管我们的实验专门用于ONN传感器的光线图像，但替代ONN平台应促进一系列ONN传感器。这些ONN传感器可能通过在空间，时间和/或光谱尺寸中预处处理的光学信息来超越常规传感器，并可能具有相干和量子质量，所有这些都在光学域中。

压缩学习（CL）是一个新兴框架，可以通过压缩传感（CS）和机器学习来整合信号的收购，直接在少量测量上进行推理任务。它可以是经典图像域方法的有希望的替代方法，并且在保存和计算效率方面具有很大的优势。但是，以前对CL的尝试不仅限于固定的CS比率，该比率缺乏灵活性，而且还限于MNIST/CIFAR样数据集，并且不扩展到复杂的现实世界高分辨率（HR）数据或视觉任务。在本文中，提出了一个新型的基于变压器的压缩学习框架，该框架在具有任意CS比率的大规模图像上（称为TransCl）。具体而言，TransCL首先采用了基于可学习的基于块的压缩感测的策略，并提出了一种灵活的线性投影策略，以使CL能够以任意CS比率的有效逐块方式在大规模图像上进行。然后，关于从所有块作为序列的CS测量值，将部署一个基于纯变压器的骨架来执行具有各种面向任务的头部的视觉任务。我们的足够分析表明，TRANSCL对干扰和对任意CS比率的强大适应性表现出强烈的抵抗力。复杂HR数据的广泛实验表明，所提出的TransCl可以在图像分类和语义分割任务中实现最新性能。特别是，CS比率为$ 10 \％$的TRANSCL几乎可以获得与直接在原始数据上运行时的性能，即使CS极低的CS比率为$ 1 \％$ $，也可以获得令人满意的性能。我们提出的TransCl的源代码可在\ url {https://github.com/mc-e/transcl/}上获得。

高光谱成像是各种应用的基本成像模型，尤其是遥感，农业和医学。灵感来自现有的高光谱相机，可以慢，昂贵或笨重，从低预算快照测量中重建高光谱图像（HSIS）已经绘制了广泛的关注。通过将截断的数值优化算法映射到具有固定数量的相位的网络中，近期深度展开网络（DUNS）用于光谱快照压缩感应（SCI）已经取得了显着的成功。然而，DUNS远未通过缺乏交叉相位相互作用和适应性参数调整来达到有限的工业应用范围。在本文中，我们提出了一种新的高光谱可分解的重建和最佳采样深度网络，用于SCI，被称为HeroSnet，其中包括在ISTA展开框架下的几个阶段。每个阶段可以灵活地模拟感测矩阵，并在梯度下降步骤中进行上下文调整步骤，以及分层熔断器，并在近侧映射步骤中有效地恢复当前HSI帧的隐藏状态。同时，终端实现硬件友好的最佳二进制掩模，以进一步提高重建性能。最后，我们的Herosnet被验证以优于大幅边缘的模拟和实际数据集的最先进的方法。

我们考虑使用系统的光学成像过程与卷积神经网络（CNN）来解决快照高光谱成像重建问题，其使用双相机系统以压缩方式捕获三维高光谱图像（HSIS）。近年来已经开发了使用CNN的各种方法来重建HSI，但大多数监督的深度学习方法旨在符合捕获的压缩图像和标准HSI之间的蛮力映射关系。因此，当观察数据偏离训练数据时，学习的映射将无效。特别是，我们通常在现实方案中没有地面真相。在本文中，我们提出了一个自我监督的双摄像机设备，具有未经训练的物理信息的CNNS框架。广泛的模拟和实验结果表明，我们没有培训的方法可以适应具有良好性能的广泛成像环境。此外，与基于培训的方法相比，我们的系统可以在现实方案中不断微调和自我改善。

卷积神经网络（CNNS）成功地进行了压缩图像感测。然而，由于局部性和重量共享的归纳偏差，卷积操作证明了建模远程依赖性的内在限制。变压器，最初作为序列到序列模型设计，在捕获由于基于自我关注的架构而捕获的全局背景中，即使它可以配备有限的本地化能力。本文提出了一种混合框架，一个混合框架，其集成了从CNN提供的借用的优点以及变压器提供的全局上下文，以获得增强的表示学习。所提出的方法是由自适应采样和恢复组成的端到端压缩图像感测方法。在采样模块中，通过学习的采样矩阵测量图像逐块。在重建阶段，将测量投射到双杆中。一个是用于通过卷积建模邻域关系的CNN杆，另一个是用于采用全球自我关注机制的变压器杆。双分支结构是并发，并且本地特征和全局表示在不同的分辨率下融合，以最大化功能的互补性。此外，我们探索一个渐进的战略和基于窗口的变压器块，以降低参数和计算复杂性。实验结果表明了基于专用变压器的架构进行压缩感测的有效性，与不同数据集的最先进方法相比，实现了卓越的性能。

光谱压缩成像（SCI）能够将高维高光谱图像编码为2D测量，然后使用算法来重建时空光谱数据处。目前，SCI的主要瓶颈是重建算法，最新的（SOTA）重建方法通常面临长期重建时间和/或细节恢复不良的问题。在本文中，我们提出了一个新型的混合网络模块，即CCOT（卷积和上下文变压器）块，该模块可以同时获得卷积的感应偏见和强大的变压器建模能力，并有助于提高重建质量以提高重建质量还原细节。我们将提出的CCOT块集成到基于广义交替投影算法的深层展开框架中，并进一步提出GAP-CCOT网络。通过大量合成和真实数据的实验，我们提出的模型可实现更高的重建质量（$> $> $> $> $ 2db的PSNR在模拟基准数据集中）和比现有SOTA算法更短的运行时间。代码和模型可在https://github.com/ucaswangls/gap-ccot上公开获得。

Multispectral imaging has been used for numerous applications in e.g., environmental monitoring, aerospace, defense, and biomedicine. Here, we present a diffractive optical network-based multispectral imaging system trained using deep learning to create a virtual spectral filter array at the output image field-of-view. This diffractive multispectral imager performs spatially-coherent imaging over a large spectrum, and at the same time, routes a pre-determined set of spectral channels onto an array of pixels at the output plane, converting a monochrome focal plane array or image sensor into a multispectral imaging device without any spectral filters or image recovery algorithms. Furthermore, the spectral responsivity of this diffractive multispectral imager is not sensitive to input polarization states. Through numerical simulations, we present different diffractive network designs that achieve snapshot multispectral imaging with 4, 9 and 16 unique spectral bands within the visible spectrum, based on passive spatially-structured diffractive surfaces, with a compact design that axially spans ~72 times the mean wavelength of the spectral band of interest. Moreover, we experimentally demonstrate a diffractive multispectral imager based on a 3D-printed diffractive network that creates at its output image plane a spatially-repeating virtual spectral filter array with 2x2=4 unique bands at terahertz spectrum. Due to their compact form factor and computation-free, power-efficient and polarization-insensitive forward operation, diffractive multispectral imagers can be transformative for various imaging and sensing applications and be used at different parts of the electromagnetic spectrum where high-density and wide-area multispectral pixel arrays are not widely available.

相位检索（PR）是从其仅限强度测量中恢复复杂值信号的长期挑战，由于其在数字成像中的广泛应用，引起了很大的关注。最近，开发了基于深度学习的方法，这些方法在单发PR中取得了成功。这些方法需要单个傅立叶强度测量，而无需对测量数据施加任何其他约束。然而，由于PR问题的输入和输出域之间存在很大的差异，香草深神经网络（DNN）并没有提供良好的性能。物理信息的方法试图将傅立叶强度测量结果纳入提高重建精度的迭代方法。但是，它需要一个冗长的计算过程，并且仍然无法保证准确性。此外，其中许多方法都在模拟数据上工作，这些数据忽略了一些常见问题，例如实用光学PR系统中的饱和度和量化错误。在本文中，提出了一种新型的物理驱动的多尺度DNN结构，称为PPRNET。与其他基于深度学习的PR方法类似，PPRNET仅需要一个傅立叶强度测量。物理驱动的是，网络被指导遵循不同尺度的傅立叶强度测量，以提高重建精度。 PPRNET具有前馈结构，可以端到端训练。因此，它比传统物理驱动的PR方法更快，更准确。进行了实用光学平台上的大量模拟和实验。结果证明了拟议的PPRNET比传统的基于基于学习的PR方法的优势和实用性。

来自光场的大量空间和角度信息允许开发多种差异估计方法。但是，对光场的获取需要高存储和处理成本，从而限制了该技术在实际应用中的使用。为了克服这些缺点，压缩感应（CS）理论使光学体系结构的开发能够获得单个编码的光场测量。该测量是使用需要高计算成本的优化算法或深神经网络来解码的。从压缩光场进行的传统差异估计方法需要首先恢复整个光场，然后再恢复后处理步骤，从而需要长时间。相比之下，这项工作提出了通过省略传统方法所需的恢复步骤来从单个压缩测量中进行快速差异估计。具体而言，我们建议共同优化用于获取单个编码光场快照和卷积神经网络（CNN）的光学体系结构，以估计差异图。在实验上，提出的方法估计了与使用深度学习方法重建的光场相当的差异图。此外，所提出的方法在训练和推理方面的速度比估计重建光场差异的最佳方法要快20倍。

通过将某些优化求解器与深神经网络相结合，深层展开网络（DUN）近年来引起了图像压缩感（CS）的广泛关注。但是，现有DUN中仍然存在几个问题：1）对于每次迭代，通常采用一个简单的堆叠卷积网络，这显然限制了这些模型的表现力。 2）培训完成后，对于任何输入内容，大多数现有DUNS的超参数均已固定，这大大削弱了其适应性。在本文中，通过展开快速迭代的收缩阈值算法（FISTA），提出了一种新颖的快速分层dun，被称为Fhdun，用于图像压缩传感，开发出了精心设计的层次结构，以合作探索富人的上下文，以探索富人的上下文。多尺度空间中的信息。为了进一步增强适应性，在我们的框架中开发了一系列的超参数生成网络，以根据输入内容动态生产相应的最佳超参数。此外，由于Fista的加速政策，新嵌入的加速模块使拟议的Fhdun节省了超过50％的迭代循环，以抵抗最近的Duns。广泛的CS实验表明，所提出的FHDUN优于现有的最新CS方法，同时保持较少的迭代。

Sparse representation has attracted great attention because it can greatly save storage re- sources and find representative features of data in a low-dimensional space. As a result, it may be widely applied in engineering domains including feature extraction, compressed sensing, signal denoising, picture clustering, and dictionary learning, just to name a few. In this paper, we propose a spiking sampling network. This network is composed of spiking neurons, and it can dynamically decide which pixel points should be retained and which ones need to be masked according to the input. Our experiments demonstrate that this approach enables better sparse representation of the original image and facilitates image reconstruction compared to random sampling. We thus use this approach for compressing massive data from the dynamic vision sensor, which greatly reduces the storage requirements for event data.

在许多图像处理任务中，深度学习方法的成功，最近还将深度学习方法引入了阶段检索问题。这些方法与传统的迭代优化方法不同，因为它们通常只需要一个强度测量，并且可以实时重建相位图像。但是，由于巨大的领域差异，这些方法给出的重建图像的质量仍然有很大的改进空间来满足一般应用要求。在本文中，我们设计了一种新型的深神经网络结构，名为Sisprnet，以基于单个傅立叶强度测量值进行相检索。为了有效利用测量的光谱信息，我们建议使用多层感知器（MLP）作为前端提出一个新的特征提取单元。它允许将输入强度图像的所有像素一起考虑，以探索其全局表示。 MLP的大小经过精心设计，以促进代表性特征的提取，同时减少噪音和异常值。辍学层还可以减轻训练MLP的过度拟合问题。为了促进重建图像中的全局相关性，将自我注意力的机制引入了提议的Sisprnet的上采样和重建（UR）块。这些UR块被插入残留的学习结构中，以防止由于其复杂的层结构而导致的较弱的信息流和消失的梯度问题。使用线性相关幅度和相位的仅相位图像和图像的不同测试数据集对所提出的模型进行了广泛的评估。在光学实验平台上进行了实验，以了解在实用环境中工作时不同深度学习方法的性能。