我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

With the aim of developing a fast yet accurate algorithm for compressive sensing (CS) reconstruction of natural images, we combine in this paper the merits of two existing categories of CS methods: the structure insights of traditional optimization-based methods and the speed of recent network-based ones. Specifically, we propose a novel structured deep network, dubbed ISTA-Net, which is inspired by the Iterative Shrinkage-Thresholding Algorithm (ISTA) for optimizing a general 1 norm CS reconstruction model. To cast ISTA into deep network form, we develop an effective strategy to solve the proximal mapping associated with the sparsity-inducing regularizer using nonlinear transforms. All the parameters in ISTA-Net (e.g. nonlinear transforms, shrinkage thresholds, step sizes, etc.) are learned end-to-end, rather than being hand-crafted. Moreover, considering that the residuals of natural images are more compressible, an enhanced version of ISTA-Net in the residual domain, dubbed ISTA-Net + , is derived to further improve CS reconstruction. Extensive CS experiments demonstrate that the proposed ISTA-Nets outperform existing state-of-the-art optimization-based and networkbased CS methods by large margins, while maintaining fast computational speed. Our source codes are available: http://jianzhang.tech/projects/ISTA-Net.

通过结合使用卷积神经网（CNN）指定的物理测量模型和学习的图像验证者，对基于模型的架构（DMBA）的兴趣越来越大。例如，用于系统设计DMBA的著名框架包括插件培训（PNP），深度展开（DU）和深度平衡模型（DEQ）。尽管已广泛研究了DMBA的经验性能和理论特性，但当确切地知道所需的图像之前，该地区的现有工作主要集中在其性能上。这项工作通过在不匹配的CNN先验下向DMBA提供新的理论和数值见解来解决先前工作的差距。当训练和测试数据之间存在分布变化时，自然会出现不匹配的先验，例如，由于测试图像来自与用于训练CNN先验的图像不同的分布。当CNN事先用于推理是一些所需的统计估计器（MAP或MMSE）的近似值时，它们也会出现。我们的理论分析在一组明确指定的假设下，由于不匹配的CNN先验，在解决方案上提供了明显的误差界限。我们的数值结果比较了在现实分布变化和近似统计估计器下DMBA的经验性能。

产生相同解剖结构的多对比度/模态MRI丰富了诊断信息，但由于数据获取时间过多而在实践中受到限制。在本文中，我们提出了一种新的深入学习模型，用于使用几种源模态的不完整的k空间数据作为输入，用于联合重建和合成多模式MRI。我们模型的输出包括源模式的重建图像和目标模式中合成的高质量图像。我们提出的模型被公式化为一个变异问题，该问题利用了几个可学习的特定特征提取器和多模式合成模块。我们提出了一种可学习的优化算法来求解该模型，该算法可以使用多模式MRI数据训练其参数的多相网络。此外，采用了一个二线优化框架进行鲁棒参数训练。我们使用广泛的数值实验证明了方法的有效性。

本文首先提出了一种凸双翼优化范例，可以在现实世界场景中制定和优化流行的学习和视觉问题。与传统方法不同，直接基于给定的问题制定设计其迭代方案，我们将任务导向的能量引入我们的潜在约束，这集成了更丰富的任务信息。通过明确地重新表征可行性，我们建立了一种高效且灵活的算法框架，可以使用缩小解决方案空间和强大的辅助（基于任务的域知识和数据分布）来解决凸模型。理论上，我们提出了基于潜在可行性重新表征的数值策略的收敛分析。我们还在计算误差扰动下分析了理论会聚的稳定性。进行了广泛的数值实验，以验证我们的理论调查结果，并评估我们对不同应用方法的实际表现。

我们提出了一种监督学习稀疏促进正规化器的方法，以降低信号和图像。促进稀疏性正则化是解决现代信号重建问题的关键要素。但是，这些正规化器的基础操作员通常是通过手动设计的，要么以无监督的方式从数据中学到。监督学习（主要是卷积神经网络）在解决图像重建问题方面的最新成功表明，这可能是设计正规化器的富有成果的方法。为此，我们建议使用带有参数，稀疏的正规器的变异公式来贬低信号，其中学会了正常器的参数，以最大程度地减少在地面真实图像和测量对的训练集中重建的平均平方误差。培训涉及解决一个具有挑战性的双层优化问题；我们使用denoising问题的封闭形式解决方案得出了训练损失梯度的表达，并提供了随附的梯度下降算法以最大程度地减少其。我们使用结构化1D信号和自然图像的实验表明，所提出的方法可以学习一个超过众所周知的正规化器（总变化，DCT-SPARSITY和无监督的字典学习）的操作员和用于DeNoisis的协作过滤。尽管我们提出的方法是特定于denoising的，但我们认为它可以适应线性测量模型的较大类反问题，使其在广泛的信号重建设置中适用。

近年来，在诸如denoing，压缩感应，介入和超分辨率等反问题中使用深度学习方法的使用取得了重大进展。尽管这种作品主要是由实践算法和实验驱动的，但它也引起了各种有趣的理论问题。在本文中，我们调查了这一作品中一些突出的理论发展，尤其是生成先验，未经训练的神经网络先验和展开算法。除了总结这些主题中的现有结果外，我们还强调了一些持续的挑战和开放问题。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

Computational imaging has been revolutionized by compressed sensing algorithms, which offer guaranteed uniqueness, convergence, and stability properties. In recent years, model-based deep learning methods that combine imaging physics with learned regularization priors have been emerging as more powerful alternatives for image recovery. The main focus of this paper is to introduce a memory efficient model-based algorithm with similar theoretical guarantees as CS methods. The proposed iterative algorithm alternates between a gradient descent involving the score function and a conjugate gradient algorithm to encourage data consistency. The score function is modeled as a monotone convolutional neural network. Our analysis shows that the monotone constraint is necessary and sufficient to enforce the uniqueness of the fixed point in arbitrary inverse problems. In addition, it also guarantees the convergence to a fixed point, which is robust to input perturbations. Current algorithms including RED and MoDL are special cases of the proposed algorithm; the proposed theoretical tools enable the optimization of the framework for the deep equilibrium setting. The proposed deep equilibrium formulation is significantly more memory efficient than unrolled methods, which allows us to apply it to 3D or 2D+time problems that current unrolled algorithms cannot handle.

Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.

在许多机器学习应用程序中出现了非convex-concave min-max问题，包括最大程度地减少一组非凸函数的最大程度，并对神经网络的强大对抗训练。解决此问题的一种流行方法是梯度下降（GDA）算法，不幸的是，在非凸性的情况下可以表现出振荡。在本文中，我们引入了一种“平滑”方案，该方案可以与GDA结合以稳定振荡并确保收敛到固定溶液。我们证明，稳定的GDA算法可以实现$ O（1/\ epsilon^2）$迭代复杂性，以最大程度地减少有限的非convex函数收集的最大值。此外，平滑的GDA算法达到了$ O（1/\ epsilon^4）$ toseration复杂性，用于一般的nonconvex-concave问题。提出了这种稳定的GDA算法的扩展到多块情况。据我们所知，这是第一个实现$ o（1/\ epsilon^2）$的算法，用于一类NonConvex-Concave问题。我们说明了稳定的GDA算法在健壮训练中的实际效率。

插件播放（PNP）方法通过迭代近端算法解决了不良的逆问题，通过替换近端操作员通过denoisising操作来解决。当使用深层神经网络Denoisers应用时，这些方法显示出用于图像恢复问题的最先进的视觉性能。但是，他们的理论收敛分析仍然不完整。大多数现有的融合结果都考虑非现实的非专业转换器，或者将其分析限制为在逆问题中强烈凸出数据验证项。最近，提议将DeNoiser作为梯度下降步骤训练，以通过深神经网络参数为参数。使用这样的DeNoiser保证PNP版本的半季度分解（PNP-HQS）迭代算法的收敛性。在本文中，我们表明该梯度Denoiser实际上可以对应于另一个标量函数的近端操作员。鉴于这一新结果，我们利用了非convex设置中近端算法的收敛理论，以获得PNP-PGD（近端梯度下降）和PNP-ADMM（乘数的交替方向方法）的收敛结果。当建立在光滑的梯度Denoiser之上时，我们表明PNP-PGD和PNP-ADMM是显式功能的收敛性和目标固定点。这些收敛结果通过数值实验进行了脱毛，超分辨率和内化。

Iterative regularization is a classic idea in regularization theory, that has recently become popular in machine learning. On the one hand, it allows to design efficient algorithms controlling at the same time numerical and statistical accuracy. On the other hand it allows to shed light on the learning curves observed while training neural networks. In this paper, we focus on iterative regularization in the context of classification. After contrasting this setting with that of regression and inverse problems, we develop an iterative regularization approach based on the use of the hinge loss function. More precisely we consider a diagonal approach for a family of algorithms for which we prove convergence as well as rates of convergence. Our approach compares favorably with other alternatives, as confirmed also in numerical simulations.

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

重建 /特征提取的联合问题是图像处理中的一项具有挑战性的任务。它包括以联合方式执行图像的恢复及其特征的提取。在这项工作中，我们首先提出了一个新颖的非平滑和非凸变性表述。为此，我们介绍了一种通用的高斯先验，其参数（包括其指数）是空间变化的。其次，我们设计了一种基于近端的交替优化算法，该算法有效利用了所提出的非convex目标函数的结构。我们还分析了该算法的收敛性。如在关节分割/脱张任务进行的数值实验中所示，该方法提供了高质量的结果。

稀疏数据的恢复是机器学习和信号处理中许多应用的核心。虽然可以使用$ \ ell_1 $ -regularization在套索估算器中使用此类问题，但在基础上，通常需要专用算法来解决大型实例的相应高维非平滑优化。迭代地重新重复的最小二乘（IRLS）是一种广泛使用的算法，其出于其优异的数值性能。然而，虽然现有理论能够保证该算法的收敛到最小化器，但它不提供全局收敛速度。在本文中，我们证明了IRLS的变型以全局线性速率收敛到稀疏解决方案，即，如果测量结果满足通常的空空间属性假设，则立即发生线性误差。我们通过数值实验支持我们的理论，表明我们的线性速率捕获了正确的维度依赖性。我们预计我们的理论调查结果将导致IRLS算法的许多其他用例的新见解，例如在低级矩阵恢复中。

除了预测误差的最小化之外，回归方案的两个最期望的性质是稳定性和解释性。由这些原则驱动，我们提出了连续域配方进行一维回归问题。在我们的第一种方法中，我们使用Lipschitz常数作为规范器，这导致了解学习映射的整体稳健性的调整。在我们的第二种方法中，我们使用用户定义的上限和使用稀疏性常规程序来控制Lipschitz常数，以便更简单地支持（以及因此，更可取的可解释）的解决方案。后者制剂的理论研究部分地通过其证明的等效性，利用整流线性单元（Relu）激活和重量衰减，训练Lipschitz受约束的两层单变量神经网络。通过证明代表定理，我们表明这两个问题都承认是连续和分段线性（CPWL）功能的全局最小值。此外，我们提出了高效的算法，该算法找到了每个问题的稀疏解决方案：具有最少数量的线性区域的CPWL映射。最后，我们在数字上说明了我们的配方的结果。

最近，优化衍生的学习（ODL）吸引了学习和视觉领域的关注，该学习和视觉领域从优化的角度设计了学习模型。但是，以前的ODL方法将训练和超训练程序视为两个分离的阶段，这意味着在训练过程中必须固定超训练变量，因此也不可能同时获得训练和超级培训的收敛性训练变量。在这项工作中，我们将基于定点迭代的广义Krasnoselkii-Mann（GKM）计划设计为我们的基本ODL模块，该模块将现有的ODL方法统一为特殊情况。在GKM方案下，构建了双级元优化（BMO）算法框架，以共同解决最佳训练和超训练变量。我们严格地证明了训练定点迭代的基本关节融合以及优化超训练的超训练的过程，无论是在近似质量方面还是在固定分析上。实验证明了BMO在稀疏编码和现实世界中的竞争性能的效率，例如图像反卷积和降雨的删除。

NonConvex-Concave Minimax优化已经对机器学习产生了浓厚的兴趣，包括对数据分配具有稳健性，以非解释性损失，对抗性学习为单一的学习。然而，大多数现有的作品都集中在梯度散发性（GDA）变体上，这些变体只能在平滑的设置中应用。在本文中，我们考虑了一个最小问题的家族，其目标功能在最小化变量中享有非平滑复合结构，并且在最大化的变量中是凹入的。通过充分利用复合结构，我们提出了平滑的近端线性下降上升（\ textit {平滑} plda）算法，并进一步建立了其$ \ Mathcal {o}（\ epsilon^{ - 4}）在平滑设置下，平滑的gda〜 \ cite {zhang2020single}。此外，在一个温和的假设下，目标函数满足单方面的kurdyka- \ l {} ojasiewicz条件，带有指数$ \ theta \ in（0,1）$，我们可以进一步将迭代复杂性提高到$ \ MATHCAL {O }（\ epsilon^{ - 2 \ max \ {2 \ theta，1 \}}）$。据我们所知，这是第一种非平滑nonconvex-concave问题的可证明有效的算法，它可以实现最佳迭代复杂性$ \ MATHCAL {o}（\ epsilon^{ - 2}）$，如果$ \ theta \ 0,1/2] $。作为副产品，我们讨论了不同的平稳性概念并定量澄清它们的关系，这可能具有独立的兴趣。从经验上，我们说明了拟议的平滑PLDA在变体正规化WassErstein分布在鲁棒优化问题上的有效性。