非凸AC-OPF问题的多个负载分解映射的存在对深神经网络(DNN)方案构成了根本挑战。由于训练数据集可能包含与不同负载分解映射相对应的数据点的混合物,因此DNN可能无法学习合法的映射并生成劣质解决方案。我们建议DeepOpf-al作为解决此问题的增强学习方法。这个想法是训练DNN,以学习从增强输入(即(负载,初始点))的唯一映射到由具有负载和初始点作为进气口的迭代OPF求解器生成的解决方案。然后,我们将学习的增强映射应用于求解AC-OPF问题的速度要快得多。与最近的DNN方案相比,IEEE测试案例的模拟结果表明,DeepOPF-AL可以明显地取得更好的最优性和相似的可行性和加速性能,具有相同的DNN大小却提高了训练的复杂性。
translated by 谷歌翻译
纠错码是现代通信系统中的基本组件,要求极高的吞吐量,超可靠性和低延迟。随着解码器的近期使用机器学习(ML)模型的方法提供了改进的性能和对未知环境的巨大适应性,传统的解码器斗争。我们介绍了一般框架,以进一步提高ML模型的性能和适用性。我们建议将ML解码器与竞争鉴别器网络组合,该网络试图区分码字和嘈杂的单词,因此,指导解码模型以恢复传输的码字。我们的框架是游戏理论,由生成的对抗网络(GANS)有动力,解码器和鉴别者在零和游戏中竞争。解码器学习同时解码和生成码字,而鉴别器学会讲述解码输出和码字之间的差异。因此,解码器能够将嘈杂的接收信号解码为码字,增加成功解码的概率。我们通过证明这解码器定义了我们游戏的NASH均衡点,我们与最佳最大可能性解码器展示了我们的框架的强烈连接。因此,培训均衡具有实现最佳最大可能性性能的良好可能性。此外,我们的框架不需要培训标签,这些标签通常在通信期间通常不可用,因此似乎可以在线培训并适应频道动态。为了展示我们框架的表现,我们将其与最近的神经解码器相结合,并与各种代码上的原始模型和传统解码算法相比,表现出改进的性能。
translated by 谷歌翻译
由于固有的DNN预测误差,确保解决方案可行性是开发用于解决受约束优化问题的深度神经网络(DNN)方案的关键挑战。在本文中,我们提出了一种“预防性学习”的框架,以系统地保证DNN解决方案可行性的凸起约束和一般客观函数的问题。我们首先应用预测和重建设计,不仅保证平等约束,还可以利用它们来减少DNN预测的变量的数量。然后,作为关键方法贡献,我们系统地校准了DNN训练中使用的不等式约束,从而预测预测误差并确保所得到的解决方案仍然可行。我们表征校准量大和DNN尺寸,足以确保通用可行性。我们提出了一种新的敌对样本意识到培训算法,以改善DNN的最优性能而不牺牲可行性保证。总的来说,该框架提供了两个DNN。表征足够的DNN大小的第一个可以保证通用可行性,而来自所提出的培训算法的另一个进一步提高了最优性并同时保持DNN的通用可行性。我们应用预防性学习框架来开发Deepopf +,以解决网格运行中的基本DC最佳功率流量问题。它在确保在轻负载和重载制度中的可行性和获得一致的理想加速性能时,它可以改善现有的基于DNN的方案。仿真结果对IEEE案例-30 / 118/300测试用例显示DeepoPF +与最优性损失的最优损失和最高幅度计算加速度为100 \%$ 0.5%的可行解决方案,相比之下艺术迭代求解器。
translated by 谷歌翻译
可再生能源世代的高百分比渗透对电力系统引起了重大不确定性。它要求网格操作员更频繁地解决替代电流最佳功率流(AC-OPF)问题,以便在传输和分配网格中进行经济和可靠的操作。在本文中,我们开发了一种Deep神经网络(DNN)方法,称为DEEPOPF,用于在传统求解器使用的时间中解决AC-OPF问题。应用机器学习技术解决AC-OPF问题的关键困难在于确保获得的解决方案尊重平等和不平等的物理和操作约束。在[1],[2]中概括了2阶段的过程,DEEPOPF首先训练DNN模型,以预测一组独立的操作变量,然后通过求解功率流方程直接计算剩余的可靠性变量。这种方法不仅保留了平衡平等的限制,而且还减少了DNN预测的变量数量,从而减少了所需的神经元和训练数据的数量。然后,DeePOPF在培训过程中采用零级梯度估计技术采用惩罚方法,以保留其余的不平等约束。作为另一个贡献,我们根据所需的近似精度来驱动调整DNN的大小的条件,该准确性测量了DNN的概括能力。它为使用DNN解决AC-OPF问题提供了理论上的理由。 IEEE 30/118/300-BU和合成2000总线测试用例的仿真结果表明,与最先进的求解器相比,DEEPOPF最多将计算时间速度高达两个数量级,费用为费用$ <$ <$ 0.1%的成本差异。
translated by 谷歌翻译
Reading comprehension of legal text can be a particularly challenging task due to the length and complexity of legal clauses and a shortage of expert-annotated datasets. To address this challenge, we introduce the Merger Agreement Understanding Dataset (MAUD), an expert-annotated reading comprehension dataset based on the American Bar Association's 2021 Public Target Deal Points Study, with over 39,000 examples and over 47,000 total annotations. Our fine-tuned Transformer baselines show promising results, with models performing well above random on most questions. However, on a large subset of questions, there is still room for significant improvement. As the only expert-annotated merger agreement dataset, MAUD is valuable as a benchmark for both the legal profession and the NLP community.
translated by 谷歌翻译
Large language models (LLMs) have demonstrated excellent zero-shot generalization to new language tasks. However, effective utilization of LLMs for zero-shot visual question-answering (VQA) remains challenging, primarily due to the modality disconnection and task disconnection between LLM and VQA task. End-to-end training on vision and language data may bridge the disconnections, but is inflexible and computationally expensive. To address this issue, we propose \emph{Img2Prompt}, a plug-and-play module that provides the prompts that can bridge the aforementioned modality and task disconnections, so that LLMs can perform zero-shot VQA tasks without end-to-end training. In order to provide such prompts, we further employ LLM-agnostic models to provide prompts that can describe image content and self-constructed question-answer pairs, which can effectively guide LLM to perform zero-shot VQA tasks. Img2Prompt offers the following benefits: 1) It can flexibly work with various LLMs to perform VQA. 2)~Without the needing of end-to-end training, it significantly reduces the cost of deploying LLM for zero-shot VQA tasks. 3) It achieves comparable or better performance than methods relying on end-to-end training. For example, we outperform Flamingo~\cite{Deepmind:Flamingo2022} by 5.6\% on VQAv2. On the challenging A-OKVQA dataset, our method even outperforms few-shot methods by as much as 20\%.
translated by 谷歌翻译
Machine learning models usually assume i.i.d data during training and testing, but data and tasks in real world often change over time. To emulate the transient nature of real world, we propose a challenging but practical task: text classification in-the-wild, which introduces different non-stationary training/testing stages. Decomposing a complex task into modular components can enable robust generalisation under such non-stationary environment. However, current modular approaches in NLP do not take advantage of recent advances in parameter efficient tuning of pretrained language models. To close this gap, we propose MODULARPROMPT, a label-modular prompt tuning framework for text classification tasks. In MODULARPROMPT, the input prompt consists of a sequence of soft label prompts, each encoding modular knowledge related to the corresponding class label. In two of most formidable settings, MODULARPROMPT outperforms relevant baselines by a large margin demonstrating strong generalisation ability. We also conduct comprehensive analysis to validate whether the learned prompts satisfy properties of a modular representation.
translated by 谷歌翻译
我们介绍了Lavis,这是一个开源深度学习库,用于语言视觉研究和应用。拉维斯(Lavis)的目标是作为一个一站式综合图书馆,它为研究人员和从业人员提供了可访问语言视觉领域的最新进步,并赋予未来的研究和发展。它具有统一的界面,可轻松访问最新的图像语言,视频语言模型和常见数据集。 Lavis支持对各种任务的培训,评估和基准测试,包括多模式分类,检索,字幕,视觉问题答案,对话和预训练。同时,该库还高度可扩展且可配置,从而促进了未来的开发和定制。在此技术报告中,我们描述了图书馆的设计原理,关键组成部分和功能,并在常见的语言视觉任务中提出基准测试结果。该库可在以下网址获得:https://github.com/salesforce/lavis。
translated by 谷歌翻译
根据互补学习系统(CLS)理论〜\ cite {mcclelland1995there}在神经科学中,人类通过两个补充系统有效\ emph {持续学习}:一种快速学习系统,以海马为中心,用于海马,以快速学习细节,个人体验,个人体验,个人体验,个人体验,个人体验,个人体验,个人体验,个人体验的快速学习, ;以及位于新皮层中的缓慢学习系统,以逐步获取有关环境的结构化知识。在该理论的激励下,我们提出\ emph {dualnets}(对于双网络),这是一个一般的持续学习框架,该框架包括一个快速学习系统,用于监督从特定任务和慢速学习系统中的模式分离代表学习,用于表示任务的慢学习系统 - 不可知论的一般代表通过自我监督学习(SSL)。双网符可以无缝地将两种表示类型纳入整体框架中,以促进在深层神经网络中更好地持续学习。通过广泛的实验,我们在各种持续的学习协议上展示了双网络的有希望的结果,从标准离线,任务感知设置到具有挑战性的在线,无任务的场景。值得注意的是,在Ctrl〜 \ Cite {veniat2020202020202020202020202020202020202020202020202020202020202021- coite {ostapenko2021-continual}的基准中。此外,我们进行了全面的消融研究,以验证双nets功效,鲁棒性和可伸缩性。代码可在\ url {https://github.com/phquang/dualnet}上公开获得。
translated by 谷歌翻译
符号检测是现代通信系统中的一个基本且具有挑战性的问题,例如多源多输入多输出(MIMO)设置。迭代软干扰取消(SIC)是该任务的最新方法,最近动机的数据驱动的神经网络模型,例如深度,可以处理未知的非线性通道。但是,这些神经网络模型需要在应用之前对网络进行全面的时间量培训,因此在实践中不容易适合高度动态的渠道。我们介绍了一个在线培训框架,该框架可以迅速适应频道中的任何更改。我们提出的框架将最近的深层发展方法与新兴的生成对抗网络(GAN)统一,以捕获频道中的任何变化,并快速调整网络以维持模型的最佳性能。我们证明,我们的框架在高度动态的通道上显着优于最近的神经网络模型,甚至超过了我们实验中静态通道上的神经网络模型。
translated by 谷歌翻译