Unusually, intensive heavy rain hit the central region of Korea on August 8, 2022. Many low-lying areas were submerged, so traffic and life were severely paralyzed. It was the critical damage caused by torrential rain for just a few hours. This event reminded us of the need for a more reliable regional precipitation nowcasting method. In this paper, we bring cycle-consistent adversarial networks (CycleGAN) into the time-series domain and extend it to propose a reliable model for regional precipitation nowcasting. The proposed model generates composite hybrid surface rainfall (HSR) data after 10 minutes from the present time. Also, the proposed model provides a reliable prediction of up to 2 hours with a gradual extension of the training time steps. Unlike the existing complex nowcasting methods, the proposed model does not use recurrent neural networks (RNNs) and secures temporal causality via sequential training in the cycle. Our precipitation nowcasting method outperforms convolutional long short-term memory (ConvLSTM) based on RNNs. Additionally, we demonstrate the superiority of our approach by qualitative and quantitative comparisons against MAPLE, the McGill algorithm for precipitation nowcasting by lagrangian extrapolation, one of the real quantitative precipitation forecast (QPF) models.
translated by 谷歌翻译
在智能制造中,机器翻译工程图的质量将直接影响其制造精度。目前,大多数工作都是手动翻译的,大大降低了生产效率。本文提出了一种基于环状生成对抗网络(Cyclegan)的焊接结构工程图的自动翻译方法。不成对转移学习的Cyclegan网络模型用于学习真实焊接工程图的功能映射,以实现工程图的自动翻译。 U-NET和PatchGAN分别是生成器和鉴别器的主要网络。基于删除身份映射函数,提出了一个高维稀疏网络,以取代传统的密集网络以改善噪声稳健性。增加残留块隐藏层以增加生成图的分辨率。改进和微调的网络模型经过实验验证,计算实际数据和生成数据之间的差距。它符合焊接工程精度标准,并解决了焊接制造过程中低绘图识别效率的主要问题。结果显示。在我们的模型训练之后,焊接工程图的PSNR,SSIM和MSE分别达到44.89%,99.58%和2.11,它们在训练速度和准确性方面都优于传统网络。
translated by 谷歌翻译
使用低质量的底面图像进行临床筛查具有挑战性,并显着导致误诊。本文解决了通过视网膜图像恢复改善视网膜图像质量和血管分割的问题。更具体地说,具有卷积块注意模块(CBAM)的循环一致生成对抗网络(Cyclean)用于视网膜图像恢复。修改后的UNET用于恢复的视网膜图像(CBAM-UNET)的视网膜血管分割。提出的模型由两个发电机和两个歧视者组成。发电机将图像从一个域转换为另一个域,即从低品质到高质量,反之亦然。鉴别器对生成和原始图像进行分类。视网膜血管分割模型使用缩减采样,瓶颈和上采样层来生成分段图像。 CBAM已用于增强这些模型的特征提取。所提出的方法不需要配对的图像数据集,这些数据集生产具有挑战性。取而代之的是,它使用的是由从公开可用数据集检索的低质量和高质量底面图像组成的不成对数据。使用全参考评估指标(例如峰值信噪比(PSNR)和结构相似性指数量度(SSIM))评估了所提出方法的恢复性能。将视网膜血管分割性能与地面的基础图像进行了比较。所提出的方法可以显着减少因异常模糊,颜色失真,低,高和不均匀照明引起的降解效应。实验结果表明,所提出的视网膜图像恢复和血管分割方法的有效性。
translated by 谷歌翻译
在本文中,我们介绍了基于稀疏学习的端到端生成的对抗网络(GAN),用于单幅图像盲运动去纹理,我们称为SL-Corpygan。在盲运运动去纹理中的第一次,我们提出了一种稀疏的Reset-块作为基于HTM(分层时间内存)的稀疏卷积层和可训练的空间池K-Winner的组合,以替换RESET中的非线性等非线性-Block的SL-Corpergan发电机。此外,与许多最先进的GaN的运动脱孔方法不同,将运动脱棕色作为线性端到端过程,我们从CompyGan的域名翻译能力中获取灵感,我们展示图像去孔可以是循环一致的,同时实现最佳定性结果。最后,我们在定性和定量上对流行的图像基准进行了广泛的实验,并在GoPro数据集上实现了38.087 dB的记录分布PSNR,比最新的去纹理方法优于5.377 dB。
translated by 谷歌翻译
Deep Convolutional Neural Networks (DCNNs) have exhibited impressive performance on image super-resolution tasks. However, these deep learning-based super-resolution methods perform poorly in real-world super-resolution tasks, where the paired high-resolution and low-resolution images are unavailable and the low-resolution images are degraded by complicated and unknown kernels. To break these limitations, we propose the Unsupervised Bi-directional Cycle Domain Transfer Learning-based Generative Adversarial Network (UBCDTL-GAN), which consists of an Unsupervised Bi-directional Cycle Domain Transfer Network (UBCDTN) and the Semantic Encoder guided Super Resolution Network (SESRN). First, the UBCDTN is able to produce an approximated real-like LR image through transferring the LR image from an artificially degraded domain to the real-world LR image domain. Second, the SESRN has the ability to super-resolve the approximated real-like LR image to a photo-realistic HR image. Extensive experiments on unpaired real-world image benchmark datasets demonstrate that the proposed method achieves superior performance compared to state-of-the-art methods.
translated by 谷歌翻译
在本文中,我们介绍了一种快速运动脱棕色条件的生成对抗网络(FMD-CGAN),其有助于单个图像的盲运动去纹理。 FMD-CGAN在去修改图像后提供令人印象深刻的结构相似性和视觉外观。与其他深度神经网络架构一样,GAN也遭受大型模型大小(参数)和计算。在诸如移动设备和机器人等资源约束设备上部署模型并不容易。借助MobileNet基于MobileNet的架构,包括深度可分离卷积,我们降低了模型大小和推理时间,而不会丢失图像的质量。更具体地说,我们将模型大小与最近的竞争对手相比将3-60倍。由此产生的压缩去掩盖CGAN比其最接近的竞争对手更快,甚至定性和定量结果优于各种最近提出的最先进的盲运动去误紧模型。我们还可以使用我们的模型进行实时映像解擦干任务。标准数据集的当前实验显示了该方法的有效性。
translated by 谷歌翻译
原始出版物使用周期一致的对抗网络不成对图像到图像的翻译,这是该实施项目的灵感。研究人员开发了一种新的方法,用于使用原始研究中的未配对数据集进行图像到图像翻译。尽管PIX2PIX模型发现很好,但匹配的数据集经常不可用。因此,在没有配对数据的情况下,Cyclegan可以通过将图像转换为图像来解决此问题。为了减少图像之间的差异,他们实施了周期一致性损失。我用三个不同的数据集评估了Cyclegan,本文简要讨论了发现和结论。
translated by 谷歌翻译
数字视频是单个帧的集合,同时流式传输视频场景使用每个帧的时间切片。高刷新率和高帧速率是所有高科技应用的需求。由于高刷新率,视频中的动作跟踪变得更容易,运动在游戏应用中变得更加光滑。它提供了更快的响应,因为在屏幕上显示的每个帧之间的时间更少。已经提出了Fregan(帧速率增强生成的对抗网络)模型,其基于过去帧的序列预测了视频序列的未来帧。在本文中,我们调查了GaN模型,并提出了增强视频中帧速率的资格。我们利用Huber损失作为拟议的Fregan中的损失函数。它提供了超级分辨率的优异结果,我们试图在应用帧速率增强时互动该性能。我们已经验证了所提出的模型在标准数据集(UCF101和RFREE500)上的有效性。实验结果说明所提出的模型具有34.94的峰值信噪比(PSNR)和0.95的结构相似性指数(SSIM)。
translated by 谷歌翻译
使用计算流体动力学(CFD)方法近似风流可能是耗时的。创建用于在观察风流量变化的同时以交互式设计原型的工具需要更简单的模型来模拟更快。代替运行数值近似导致的详细计算,深度学习中的数据驱动方法可能能够在一小部分中提供类似的结果。这项工作将使用CFD计算到计算3D流场的问题,以在建筑占地面积上使用CFD到基于2D图像到图像转换的问题,以预测行人高度水平的流场。我们调查使用生成的对冲网络(GAN),例如PIX2PIX [1]和CYCREGAN [2]代表各种域中的图像到图像转换任务以及U-Net AutoEncoder [ 3]。模型可以以数据驱动的方式学习数据集的基础分布,我们认为可以帮助模型从CFD中了解底层雷诺平均的Navier-Stokes(RANS)方程。我们在具有且没有高度信息的各种三维诈唬型建筑物上进行新型模拟数据集。此外,我们为生成的图像提供了广泛的定性和定量评估,以选择模型,并将其性能与CFD传递的模拟进行比较。然后,我们通过提出用于在不同架构上注入这种信息的一般框架,将位置数据添加到输入可以产生更准确的结果。此外,我们表明模型通过应用注意机制和光谱归一化来改善,以便于稳定训练。
translated by 谷歌翻译
We are introducing a multi-scale predictive model for video prediction here, whose design is inspired by the "Predictive Coding" theories and "Coarse to Fine" approach. As a predictive coding model, it is updated by a combination of bottom-up and top-down information flows, which is different from traditional bottom-up training style. Its advantage is to reduce the dependence on input information and improve its ability to predict and generate images. Importantly, we achieve with a multi-scale approach -- higher level neurons generate coarser predictions (lower resolution), while the lower level generate finer predictions (higher resolution). This is different from the traditional predictive coding framework in which higher level predict the activity of neurons in lower level. To improve the predictive ability, we integrate an encoder-decoder network in the LSTM architecture and share the final encoded high-level semantic information between different levels. Additionally, since the output of each network level is an RGB image, a smaller LSTM hidden state can be used to retain and update the only necessary hidden information, avoiding being mapped to an overly discrete and complex space. In this way, we can reduce the difficulty of prediction and the computational overhead. Finally, we further explore the training strategies, to address the instability in adversarial training and mismatch between training and testing in long-term prediction. Code is available at https://github.com/Ling-CF/MSPN.
translated by 谷歌翻译
近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型,即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中,我们专注于视频预测的任务,其中给出了从视频中提取的一系列帧,目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后,我们分析发电机中的复发单元,并提出了一种新的复发单元,其根据预测的运动样本来改变其过去的隐藏状态,并改进它以处理DIS闭塞,场景变化和其他复杂行为。我们表明,这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃,从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7,下降到69.2。
translated by 谷歌翻译
轴承是容易出乎意料断层的旋转机的重要组成部分之一。因此,轴承诊断和状况监测对于降低众多行业的运营成本和停机时间至关重要。在各种生产条件下,轴承可以在一系列载荷和速度下进行操作,这会导致与每种故障类型相关的不同振动模式。正常数据很足够,因为系统通常在所需条件下工作。另一方面,故障数据很少见,在许多情况下,没有记录故障类别的数据。访问故障数据对于开发数据驱动的故障诊断工具至关重要,该工具可以提高操作的性能和安全性。为此,引入了基于条件生成对抗网络(CGAN)的新型算法。该算法对任何实际故障条件的正常和故障数据进行培训,从目标条件的正常数据中生成故障数据。所提出的方法在现实世界中的数据集上进行了验证,并为不同条件生成故障数据。实施了几种最先进的分类器和可视化模型,以评估合成数据的质量。结果证明了所提出的算法的功效。
translated by 谷歌翻译
For satellite images, the presence of clouds presents a problem as clouds obscure more than half to two-thirds of the ground information. This problem causes many issues for reliability in a noise-free environment to communicate data and other applications that need seamless monitoring. Removing the clouds from the images while keeping the background pixels intact can help address the mentioned issues. Recently, deep learning methods have become popular for researching cloud removal by demonstrating promising results, among which Generative Adversarial Networks (GAN) have shown considerably better performance. In this project, we aim to address cloud removal from satellite images using AttentionGAN and then compare our results by reproducing the results obtained using traditional GANs and auto-encoders. We use RICE dataset. The outcome of this project can be used to develop applications that require cloud-free satellite images. Moreover, our results could be helpful for making further research improvements.
translated by 谷歌翻译
尽管有持续的改进,但降水预测仍然没有其他气象变量的准确和可靠。造成这种情况的一个主要因素是,几个影响降水分布和强度的关键过程出现在全球天气模型的解决规模以下。计算机视觉社区已经证明了生成的对抗网络(GAN)在超分辨率问题上取得了成功,即学习为粗图像添加精细的结构。 Leinonen等。 (2020年)先前使用GAN来产生重建的高分辨率大气场的集合,并给定较粗糙的输入数据。在本文中,我们证明了这种方法可以扩展到更具挑战性的问题,即通过使用高分辨率雷达测量值作为“地面真相”来提高天气预报模型中相对低分辨率输入的准确性和分辨率。神经网络必须学会添加分辨率和结构,同时考虑不可忽略的预测错误。我们表明,甘斯和vae-gan可以在创建高分辨率的空间相干降水图的同时,可以匹配最新的后处理方法的统计特性。我们的模型比较比较与像素和合并的CRP分数,功率谱信息和等级直方图(用于评估校准)的最佳现有缩减方法。我们测试了我们的模型,并表明它们在各种场景中的表现,包括大雨。
translated by 谷歌翻译
生成的对抗网络(GANS)已经促进了解决图像到图像转换问题的新方向。不同的GANS在目标函数中使用具有不同损耗的发电机和鉴别器网络。仍然存在差距来填补所生成的图像的质量并靠近地面真理图像。在这项工作中,我们介绍了一个名为循环辨别生成的对抗网络(CDGAN)的新的图像到图像转换网络,填补了上述空白。除了加速本的原始架构之外,所提出的CDGAN通过结合循环图像的附加鉴别器网络来产生高质量和更现实的图像。所提出的CDGAN在三个图像到图像转换数据集上进行测试。分析了定量和定性结果,并与最先进的方法进行了比较。在三个基线图像到图像转换数据集中,所提出的CDGAN方法优于最先进的方法。该代码可在https://github.com/kishankancharagunta/cdgan获得。
translated by 谷歌翻译
由于受试者辍学或扫描失败,在纵向研究中不可避免地扫描是不可避免的。在本文中,我们提出了一个深度学习框架,以预测获得的扫描中缺少扫描,从而迎合纵向婴儿研究。由于快速的对比和结构变化,特别是在生命的第一年,对婴儿脑MRI的预测具有挑战性。我们引入了值得信赖的变质生成对抗网络(MGAN),用于将婴儿脑MRI从一个时间点转换为另一个时间点。MGAN具有三个关键功能:(i)图像翻译利用空间和频率信息以进行详细信息提供映射;(ii)将注意力集中在具有挑战性地区的质量指导学习策略。(iii)多尺度杂种损失函数,可改善组织对比度和结构细节的翻译。实验结果表明,MGAN通过准确预测对比度和解剖学细节来优于现有的gan。
translated by 谷歌翻译
基于对抗性学习的图像抑制方法,由于其出色的性能,已经在计算机视觉中进行了广泛的研究。但是,大多数现有方法对实际情况的质量功能有限,因为它们在相同场景的透明和合成的雾化图像上进行了培训。此外,它们在保留鲜艳的色彩和丰富的文本细节方面存在局限性。为了解决这些问题,我们开发了一个新颖的生成对抗网络,称为整体注意力融合对抗网络(HAAN),用于单个图像。 Haan由Fog2FogFogre块和FogFree2Fog块组成。在每个块中,有三个基于学习的模块,即雾除雾,颜色纹理恢复和雾合成,它们相互限制以生成高质量的图像。 Haan旨在通过学习雾图图像之间的整体通道空间特征相关性及其几个派生图像之间的整体通道空间特征相关性来利用纹理和结构信息的自相似性。此外,在雾合成模块中,我们利用大气散射模型来指导它,以通过新颖的天空分割网络专注于大气光优化来提高生成质量。关于合成和现实世界数据集的广泛实验表明,就定量准确性和主观的视觉质量而言,Haan的表现优于最先进的脱落方法。
translated by 谷歌翻译
由于CT相关的X射线辐射对患者的潜在健康风险,LDCT在医学成像领域引起了重大关注。然而,减少辐射剂量会降低重建图像的质量,从而损害了诊断性能。已经引入了各种深度学习技术来通过去噪提高LDCT图像的图像质量。基于GANS的去噪方法通常利用额外的分类网络,即鉴别者,学习被去噪和正常剂量图像之间最辨别的差异,因此相应地规范脱景模型;它通常侧重于全球结构或本地细节。为了更好地规范LDCT去噪模式,本文提出了一种新的方法,被称为Du-GaN,该方法利用GANS框架中的U-Net基于鉴别者来学习两种图像中的去噪和正常剂量图像之间的全局和局部差异渐变域。这种基于U-Net的鉴别器的优点是它不仅可以通过U-Net的输出向去噪网络提供每个像素反馈,而且还通过中间层专注于语义层中的全局结构U-net。除了图像域中的对抗性训练之外,我们还应用于图像梯度域中的另一个基于U-Net的鉴别器,以减轻由光子饥饿引起的伪像并增强去噪CT图像的边缘。此外,Cutmix技术使基于U-Net的鉴别器的每个像素输出能够提供具有置信度图的放射科学家以可视化去噪结果的不确定性,促进基于LDCT的筛选和诊断。关于模拟和现实世界数据集的广泛实验在定性和定量上展示了最近发表的方法的优越性。
translated by 谷歌翻译
我们提出了Vologan,这是一个对抗域的适应网络,该网络将一个人的高质量3D模型的合成RGB-D图像转换为可以使用消费者深度传感器生成的RGB-D图像。该系统对于为单视3D重建算法生成大量训练数据特别有用,该算法复制了现实世界中的捕获条件,能够模仿相同的高端3D模型数据库的不同传感器类型的样式。该网络使用具有u-net体系结构的CycleGAN框架,以及受SIV-GAN启发的鉴别器。我们使用不同的优化者和学习率计划来训练发电机和鉴别器。我们进一步构建了一个单独考虑图像通道的损失函数,除其他指标外,还评估了结构相似性。我们证明,可以使用自行车来应用合成3D数据的对抗结构域适应,以训练只有少量训练样本的体积视频发电机模型。
translated by 谷歌翻译