我们研究了数据驱动的深度学习方法的潜力,即从观察它们的混合物中分离两个通信信号。特别是,我们假设一个信号之一的生成过程(称为感兴趣的信号(SOI)),并且对第二个信号的生成过程不了解,称为干扰。单通道源分离问题的这种形式也称为干扰拒绝。我们表明,捕获高分辨率的时间结构(非平稳性),可以准确地同步与SOI和干扰,从而带来了可观的性能增长。有了这个关键的见解,我们提出了一种域信息神经网络(NN)设计,该设计能够改善“现成” NNS和经典检测和干扰拒绝方法,如我们的模拟中所示。我们的发现突出了特定于交流领域知识的关键作用在开发数据驱动的方法方面发挥了作用,这些方法具有前所未有的收益的希望。
translated by 谷歌翻译
我们研究了单通道源分离(SCSS)的问题,并专注于环化信号,这些信号特别适用于各种应用领域。与经典的SCSS方法不同,我们考虑了一个仅可用源的示例而不是模型的设置,从而激发了数据驱动的方法。对于具有基本环化高斯成分的源模型,我们为任何基于模型或数据驱动的分离方法建立了可达到的均方误差(MSE)的下限。我们的分析进一步揭示了最佳分离和相关实施挑战的操作。作为一种计算吸引力的替代方案,我们建议使用U-NET体系结构进行深度学习方法,该方法与最低MSE估计器具有竞争力。我们在模拟中证明,有了合适的域信息架构选择,我们的U-NET方法可以通过大幅减少的计算负担来达到最佳性能。
translated by 谷歌翻译
Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.
translated by 谷歌翻译
直接定位(DLOC)方法,该方法使用观察到的数据将源定位在一步过程中的未知位置,通常优于其间接的两步对应物(例如,使用到达的时间差异)。但是,水下声学DLOC方法需要对环境的先验知识,并且计算昂贵,因此很慢。我们建议,据我们所知,这是第一个数据驱动的DLOC方法。受经典和现代最佳模型的DLOC解决方案的启发,并利用了卷积神经网络(CNN)的功能,我们设计了一个基于CNN的整体解决方案。我们的方法包括专门量身定制的输入结构,体系结构,损失功能和渐进培训程序,在更广泛的机器学习背景下具有独立的兴趣。我们证明我们的方法优于有吸引力的替代方案,并且渐近地与基于Oracle的最佳模型解决方案的性能匹配。
translated by 谷歌翻译
给定有限数量的训练数据样本的分类的基本任务被考虑了具有已知参数统计模型的物理系统。基于独立的学习和统计模型的分类器面临使用小型训练集实现分类任务的主要挑战。具体地,单独依赖基于物理的统计模型的分类器通常遭受它们无法适当地调整底层的不可观察的参数,这导致系统行为的不匹配表示。另一方面,基于学习的分类器通常依赖于来自底层物理过程的大量培训数据,这在最实际的情况下可能不可行。本文提出了一种混合分类方法 - 被称为亚牙线的菌丝 - 利用基于物理的统计模型和基于学习的分类器。所提出的解决方案基于猜想,即通过融合它们各自的优势,刺鼠线将减轻与基于学习和统计模型的分类器的各个方法相关的挑战。所提出的混合方法首先使用可用(次优)统计估计程序来估计不可观察的模型参数,随后使用基于物理的统计模型来生成合成数据。然后,培训数据样本与基于学习的分类器中的合成数据结合到基于神经网络的域 - 对抗训练。具体地,为了解决不匹配问题,分类器将从训练数据和合成数据的映射学习到公共特征空间。同时,培训分类器以在该空间内找到判别特征,以满足分类任务。
translated by 谷歌翻译
最近,基于深层神经网络(DNN)的物理层通信技术引起了极大的兴趣。尽管模拟实验已经验证了它们增强通信系统和出色性能的潜力,但对理论分析的关注很少。具体而言,物理层中的大多数研究都倾向于专注于DNN模型在无线通信问题上的应用,但理论上不了解DNN在通信系统中的工作方式。在本文中,我们旨在定量分析为什么DNN可以在物理层中与传统技术相比,并在计算复杂性方面提高其成本。为了实现这一目标,我们首先分析基于DNN的发射器的编码性能,并将其与传统发射器进行比较。然后,我们理论上分析了基于DNN的估计器的性能,并将其与传统估计器进行比较。第三,我们调查并验证在信息理论概念下基于DNN的通信系统中如何播放信息。我们的分析开发了一种简洁的方式,可以在物理层通信中打开DNN的“黑匣子”,可用于支持基于DNN的智能通信技术的设计,并有助于提供可解释的性能评估。
translated by 谷歌翻译
Effective and adaptive interference management is required in next generation wireless communication systems. To address this challenge, Rate-Splitting Multiple Access (RSMA), relying on multi-antenna rate-splitting (RS) at the transmitter and successive interference cancellation (SIC) at the receivers, has been intensively studied in recent years, albeit mostly under the assumption of perfect Channel State Information at the Receiver (CSIR) and ideal capacity-achieving modulation and coding schemes. To assess its practical performance, benefits, and limits under more realistic conditions, this work proposes a novel design for a practical RSMA receiver based on model-based deep learning (MBDL) methods, which aims to unite the simple structure of the conventional SIC receiver and the robustness and model agnosticism of deep learning techniques. The MBDL receiver is evaluated in terms of uncoded Symbol Error Rate (SER), throughput performance through Link-Level Simulations (LLS), and average training overhead. Also, a comparison with the SIC receiver, with perfect and imperfect CSIR, is given. Results reveal that the MBDL receiver outperforms by a significant margin the SIC receiver with imperfect CSIR, due to its ability to generate on demand non-linear symbol detection boundaries in a pure data-driven manner.
translated by 谷歌翻译
鉴于无线频谱的有限性和对无线通信最近的技术突破产生的频谱使用不断增加的需求,干扰问题仍在继续持续存在。尽管最近解决干涉问题的进步,但干扰仍然呈现出有效使用频谱的挑战。这部分是由于Wi-Fi的无许可和管理共享乐队使用的升高,长期演进(LTE)未许可(LTE-U),LTE许可辅助访问(LAA),5G NR等机会主义频谱访问解决方案。因此,需要对干扰稳健的有效频谱使用方案的需求从未如此重要。在过去,通过使用避免技术以及非AI缓解方法(例如,自适应滤波器)来解决问题的大多数解决方案。非AI技术的关键缺陷是需要提取或开发信号特征的域专业知识,例如CycrationArity,带宽和干扰信号的调制。最近,研究人员已成功探索了AI / ML的物理(PHY)层技术,尤其是深度学习,可减少或补偿干扰信号,而不是简单地避免它。 ML基于ML的方法的潜在思想是学习来自数据的干扰或干扰特性,从而使需要对抑制干扰的域专业知识进行侧联。在本文中,我们审查了广泛的技术,这些技术已经深入了解抑制干扰。我们为干扰抑制中许多不同类型的深度学习技术提供比较和指导。此外,我们突出了在干扰抑制中成功采用深度学习的挑战和潜在的未来研究方向。
translated by 谷歌翻译
深度神经网络(DNN)具有嘈杂的权重,我们将其称为嘈杂的神经网络(Noisynns),从DNN的存在下存在噪声的训练和推理。 Noisynns在许多新应用中出现,包括DNN的无线传输,模拟设备中的DNN的有效部署或存储,以及DNN权重的截断或量化。本文研究了Noisynns的根本问题:如何从嘈杂的表现形式重建DNN重量。虽然所有先前的作品都依赖于最大可能性(ML)估计,但本文提出了一种去噪方法来重建DNN,目的是最大化重建模型的推理准确性。我们的脱氮机的优越性在两个小规模问题中经过严格经过严格地证明,其中我们考虑了二次神经网络功能和浅前馈神经网络。当应用于具有现代DNN架构的高级学习任务时,我们的Denoiser表现出比ML估算器的性能显着更好。考虑去噪DNN模型的平均测试准确性与噪声功率比(WNR)性能的重量方差。当去噪产生从嘈杂推理引起的嘈杂的BERT模型时,我们的脱氮机以1.1 dB的估计优于ML估计,以获得75%的测试精度。当去噪产生从嘈杂训练产生的嘈杂reset18模型时,我们的丹机优于13.4 dB和8.3 dB的ML估计,以分别实现60%和80%的测试精度。
translated by 谷歌翻译
Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.
translated by 谷歌翻译
迄今为止,通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计,这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是,下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外,可以使这些系统了解进行交流交流的环境,从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力,从早期改编,语义意识和以任务为导向的通信开始,涵盖了基础,算法和潜在的实现。重点是利用信息理论提供基础的方法,以及学习在语义和任务感知通信中的重要作用。
translated by 谷歌翻译
Link-Adaptation(LA)是无线通信的最重要方面之一,其中发射器使用的调制和编码方案(MCS)适用于通道条件,以满足某些目标误差率。在具有离细胞外干扰的单用户SISO(SU-SISO)系统中,LA是通过计算接收器处计算后平均值 - 交换后噪声比(SINR)进行的。可以在使用线性探测器的多用户MIMO(MU-MIMO)接收器中使用相同的技术。均衡后SINR的另一个重要用途是用于物理层(PHY)抽象,其中几个PHY块(例如通道编码器,检测器和通道解码器)被抽象模型取代,以加快系统级级别的模拟。但是,对于具有非线性接收器的MU-MIMO系统,尚无等效于平衡后的SINR,这使LA和PHY抽象都极具挑战性。这份由两部分组成的论文解决了这个重要问题。在这一部分中,提出了一个称为检测器的称为比特 - 金属解码速率(BMDR)的度量,该指标提出了相当于后平等SINR的建议。由于BMDR没有封闭形式的表达式可以启用其瞬时计算,因此一种机器学习方法可以预测其以及广泛的仿真结果。
translated by 谷歌翻译
Erroneous correspondences between samples and their respective channel or target commonly arise in several real-world applications. For instance, whole-brain calcium imaging of freely moving organisms, multiple target tracking or multi-person contactless vital sign monitoring may be severely affected by mismatched sample-channel assignments. To systematically address this fundamental problem, we pose it as a signal reconstruction problem where we have lost correspondences between the samples and their respective channels. We show that under the assumption that the signals of interest admit a sparse representation over an overcomplete dictionary, unique signal recovery is possible. Our derivations reveal that the problem is equivalent to a structured unlabeled sensing problem without precise knowledge of the sensing matrix. Unfortunately, existing methods are neither robust to errors in the regressors nor do they exploit the structure of the problem. Therefore, we propose a novel robust two-step approach for the reconstruction of shuffled sparse signals. The performance and robustness of the proposed approach is illustrated in an application of whole-brain calcium imaging in computational neuroscience. The proposed framework can be generalized to sparse signal representations other than the ones considered in this work to be applied in a variety of real-world problems with imprecise measurement or channel assignment.
translated by 谷歌翻译
使用多个麦克风进行语音增强的主要优点是,可以使用空间滤波来补充节奏光谱处理。在传统的环境中,通常单独执行线性空间滤波(波束形成)和单通道后过滤。相比之下,采用深层神经网络(DNN)有一种趋势来学习联合空间和速度 - 光谱非线性滤波器,这意味着对线性处理模型的限制以及空间和节奏单独处理的限制光谱信息可能可以克服。但是,尚不清楚导致此类数据驱动的过滤器以良好性能进行多通道语音增强的内部机制。因此,在这项工作中,我们通过仔细控制网络可用的信息源(空间,光谱和时间)来分析由DNN实现的非线性空间滤波器的性质及其与时间和光谱处理的相互依赖性。我们确认了非线性空间处理模型的优越性,该模型在挑战性的扬声器提取方案中优于Oracle线性空间滤波器,以低于0.24的POLQA得分,较少数量的麦克风。我们的分析表明,在特定的光谱信息中应与空间信息共同处理,因为这会提高过滤器的空间选择性。然后,我们的系统评估会导致一个简单的网络体系结构,该网络体系结构在扬声器提取任务上的最先进的网络体系结构优于0.22 POLQA得分,而CHIME3数据上的POLQA得分为0.32。
translated by 谷歌翻译
传统上依赖于时间序列推断的方法的设计统计模型,其描述了所需期望序列和观察到的序列之间的关系。已经得出了广泛的基于模型的算法,以使用表示基础分布的因子图上的递归计算来实现可控复杂性的推断。替代模型 - 不可知方法利用机器学习(ML)方法。在这里,我们提出了一个框架,它将基于模型的算法和数据驱动ML工具组合起来的静止时间序列。在所提出的方法中,开发了神经网络以分别学习描述时间序列分布的因子图的特定组件,而不是完全推理任务。通过利用该分布的静止性质,可以将所得方法应用于不同时间持续时间的序列。学习的因子图可以使用紧凑的神经网络来实现使用小型训练集的培训,或者可选地用于改进现有的深度推理系统。我们介绍了一种基于学习的静止因子图的推理算法,其学习从标记数据实现总和 - 产品方案,并且可以应用于不同长度的序列。我们的实验结果表明了所提出的学习因素图表学习从睡眠级数据集进行睡眠阶段检测的小型训练集的精确推断的能力,以及与未知通道的数字通信中的符号检测。
translated by 谷歌翻译
传统上,信号处理,通信和控制一直依赖经典的统计建模技术。这种基于模型的方法利用代表基本物理,先验信息和其他领域知识的数学公式。简单的经典模型有用,但对不准确性敏感,当真实系统显示复杂或动态行为时,可能会导致性能差。另一方面,随着数据集变得丰富,现代深度学习管道的力量增加,纯粹的数据驱动的方法越来越流行。深度神经网络(DNNS)使用通用体系结构,这些架构学会从数据中运行,并表现出出色的性能,尤其是针对受监督的问题。但是,DNN通常需要大量的数据和巨大的计算资源,从而限制了它们对某些信号处理方案的适用性。我们对将原则数学模型与数据驱动系统相结合的混合技术感兴趣,以从两种方法的优势中受益。这种基于模型的深度学习方法通​​过为特定问题设计的数学结构以及从有限的数据中学习来利用这两个部分领域知识。在本文中,我们调查了研究和设计基于模型的深度学习系统的领先方法。我们根据其推理机制将基于混合模型/数据驱动的系统分为类别。我们对以系统的方式将基于模型的算法与深度学习以及具体指南和详细的信号处理示例相结合的领先方法进行了全面综述。我们的目的是促进对未来系统的设计和研究信号处理和机器学习的交集,这些系统结合了两个领域的优势。
translated by 谷歌翻译
基于深度学习(DL)的联合源通道编码(DEEPJSCC)的最新进展导致了语义通信的新范式。基于DEEPJSCC的语义通信的两个显着特征是直接从源信号中对语义感知功能的开发以及这些功能的离散时间模拟传输(DTAT)。与传统的数字通信相比,与DEEPJSCC的语义通信在接收器上提供了出色的重建性能,并具有较高的频道质量降解,但在传输信号中也表现出较大的峰值功率比(PAPR)。一个空旷的问题是,DeepJSCC的收益是否来自高PAPR连续振幅信号带来的额外自由。在本文中,我们通过在图像传输的应用中探索三种PAPR还原技术来解决这个问题。我们确认,基于DEEPJSCC的语义通信的出色图像重建性能可以保留,而传输的PAPR被抑制至可接受的水平。该观察是在实用语义通信系统中实施DEEPJSCC的重要一步。
translated by 谷歌翻译
信道估计是数字通信中的一个关键任务,极大地影响了端到端系统性能。在这项工作中,我们使用深扩散模型介绍了一种用于多输入多输出(MIMO)信道估计的新方法。我们的方法使用深神经网络,该虚拟神经网络训练,以估计无线信道的任何点在高维空间中的无线信道的阶梯的梯度,并利用该模型通过后部采样解决信道估计。我们训练来自CDL-D模型的频道实现深度扩散模型,用于两个天线间距,表明,与生成的对抗网络(GaN)和压缩感测相比,​​该方法会导致竞争性和分发性能竞争和分发性能(CS ) 方法。当在训练期间从未见过的CDL-C信道测试或微调,我们的方法与CS方法和仅$ 0.5 $ DB的CS方法和损失相比,我们的方法导致最高$ 3 $ DB的最高元编码性能。理想的渠道知识。为了鼓励开放和可重复的研究,我们的源代码可以在https://github.com/utcsilab/diffusion-channels获得。
translated by 谷歌翻译
最近的作品表明,现代机器学习技术可以为长期存在的联合源通道编码(JSCC)问题提供另一种方法。非常有希望的初始结果,优于使用单独的源代码和通道代码的流行数字方案,已被证明用于使用深神经网络(DNNS)的无线图像和视频传输。但是,此类方案的端到端培训需要可区分的通道输入表示。因此,先前的工作假设可以通过通道传输任何复杂值。这可以防止在硬件或协议只能接收数字星座规定的某些频道输入集的情况下应用这些代码。本文中,我们建议使用有限通道输入字母的端到端优化的JSCC解决方案DeepJSCC-Q。我们表明,DEEPJSCC-Q可以实现与允许任何复杂的有价值通道输入的先前作品相似的性能,尤其是在可用的高调制订单时,并且在调制顺序增加的情况下,性能渐近接近无约束通道输入的情况。重要的是,DEEPJSCC-Q保留了不可预测的渠道条件下图像质量的优雅降级,这是在频道迅速变化的移动系统中部署的理想属性。
translated by 谷歌翻译
加权最近的邻居(WNN)估计量通常用作平均回归估计的灵活且易于实现的非参数工具。袋装技术是一种优雅的方式,可以自动生成最近邻居的重量的WNN估计器;我们将最终的估计量命名为分布最近的邻居(DNN),以便于参考。然而,这种估计器缺乏分布结果,从而将其应用于统计推断。此外,当平均回归函数具有高阶平滑度时,DNN无法达到最佳的非参数收敛率,这主要是由于偏差问题。在这项工作中,我们对DNN提供了深入的技术分析,我们建议通过线性将两个DNN估计量与不同的子采样量表进行线性相结合,从而提出了DNN估计量的偏差方法,从而导致新型的两尺度DNN(TDNN(TDNN) )估计器。两尺度的DNN估计量具有等效的WNN表示,重量承认明确形式,有些则是负面的。我们证明,由于使用负权重,两尺度DNN估计器在四阶平滑度条件下估算回归函数时享有最佳的非参数收敛速率。我们进一步超出了估计,并确定DNN和两个规模的DNN均无渐进地正常,因为亚次采样量表和样本量差异到无穷大。对于实际实施,我们还使用二尺度DNN的Jacknife和Bootstrap技术提供方差估计器和分配估计器。可以利用这些估计器来构建有效的置信区间,以用于回归函数的非参数推断。建议的两尺度DNN方法的理论结果和吸引人的有限样本性能用几个数值示例说明了。
translated by 谷歌翻译