Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
如今，DNN在边缘设备上无处不在。随着其重要性和用例的越来越重要，它不太可能将所有DNN包装到设备内存中，并期望每个推断都被加热。因此，寒冷的推断，读取，初始化和执行DNN模型的过程变得司空见惯，并且迫切要求优化其性能。为此，我们提出了NNV12，这是第一个为冷推理NNV12优化的设备推理引擎是在3个新颖的优化旋钮上构建的：为每个DNN操作员选择适当的内核（实现），绕过权重转换过程，以缓存该帖子。 - 在磁盘上转移权重，并在不对称处理器上进行了许多核的管道执行。为了解决巨大的搜索空间，NNV12采用了基于启发式的计划来获得近乎最佳的内核计划计划。我们完全实施了NNV12的原型，并在广泛的实验中评估了其性能。它表明，与Edge CPU和GPU上的最先进的DNN发动机相比，NNV12的达到15.2倍和401.5倍。
translated by 谷歌翻译
本文介绍了我们针对IWSLT 2022离线任务的端到端Yitrans语音翻译系统的提交，该任务从英语音频转换为德语，中文和日语。 Yitrans系统建立在大规模训练的编码器模型上。更具体地说，我们首先设计了多阶段的预训练策略，以建立具有大量标记和未标记数据的多模式模型。然后，我们为下游语音翻译任务微调模型的相应组件。此外，我们做出了各种努力，以提高性能，例如数据过滤，数据增强，语音细分，模型集合等。实验结果表明，我们的Yitrans系统比在三个翻译方向上的强基线取得了显着改进，并且比去年在TST2021英语 - 德国人中的最佳端到端系统方面的改进+5.2 BLEU改进。根据自动评估指标，我们的最终意见在英语 - 德国和英语端到端系统上排名第一。我们使代码和模型公开可用。
translated by 谷歌翻译
本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。
translated by 谷歌翻译
自我监督的语音表示学习在各种语音处理任务中显示出令人鼓舞的结果。但是，预先训练的模型，例如休伯特是存储密集型变压器，限制了其在低资源设置下的应用程序范围。为此，我们建议通过修剪结构化参数自动找到所需的体系结构Lighthubert，这是一个曾经是变压器的压缩框架。更确切地说，我们创建了一个基于变压器的超级网，该超网嵌套着数千个重量共享子网，并设计了一个两阶段的蒸馏策略，以利用休伯特的上下文化潜在表示。关于自动语音识别（ASR）和出色基准的实验表明，拟议的lighthubert可实现$ 10^9 $的架构，该体系结构涉及嵌入尺寸，注意力维度，头部编号，进率向前网络比率和网络深度。 Lighthubert优于ASR上的原始Hubert和Hubert大小的五个出色的任务，在大多数任务中，在大多数任务中都具有可比的性能，并减少了29％的参数，并获得了$ 3.5 \ times $ times $ compression $压缩比在三个超级任务中，例如自动扬声器验证，关键字发现和意图分类，略有准确的损失。代码和预培训模型可在https://github.com/mechanicalsea/lighthubert上找到。
translated by 谷歌翻译
近年来，在移动设备上部署深度学习（DL）一直是一个显着的趋势。为了支持对开发DL的快速推断，DL库作为算法和硬件扮演着至关重要的角色。不幸的是，先前的工作从未深入现代DL Libs的生态系统，并为其性能提供定量结果。在本文中，我们首先建立了一个全面的基准，其中包括6个代表性DL LIB和15种多元化的DL模型。然后，我们在10个移动设备上进行了广泛的实验，这有助于揭示当前移动DL LIBS生态系统的完整景观。例如，我们发现表现最佳的DL LIB在不同的模型和硬件中严重碎片，这些DL Libs之间的差距可能相当巨大。实际上，DL LIB的影响会淹没算法或硬件的优化，例如模型量化和基于GPU/DSP的异质计算。最后，在观察结果上，我们总结了对DL Lib生态系统中不同角色的实际意义。
translated by 谷歌翻译
建议绑架自然语言推理任务（$ \ alpha $ NLI）以推断出原因与事件之间的最合理的解释。在$ \ Alpha $ NLI任务中，给出了两个观察，并要求最合理的假设从候选人中挑出。现有方法将每个候选假说之间的关系进行分别统一地惩罚推理网络。在本文中，我们认为不必区分正确假设之间的推理能力;同样，在解释观察的原因时，所有错误的假设都会有所贡献。因此，我们建议小组而不是排名假设和设计本文中称为“联合软制焦点”的结构损失。基于观察，假设通常与语义相关，我们设计了一种新颖的互动语言模型，旨在利用竞争假设之间丰富的互动。我们为$ \ alpha $ nli命名这个新型号：具有结构丢失（IMSL）的交互式模型。实验结果表明，我们的IMSL已经在罗伯塔大型预磨削模型上实现了最高性能，ACC和AUC结果分别增加了约1 \％和5 \％。
translated by 谷歌翻译
面向目标的意见单词提取（TOWE）是一项精细的情感分析任务，旨在从句子中提取给定意见目标的相应意见单词。最近，深度学习方法在这项任务上取得了显着进步。然而，由于昂贵的数据注释过程，TOWE任务仍然遭受培训数据的稀缺性。有限的标记数据增加了测试数据和培训数据之间分配变化的风险。在本文中，我们建议利用大量未标记的数据来通过增加模型对变化分布变化的暴露来降低风险。具体而言，我们提出了一种新型的多透明一致性正则化（MGCR）方法，以利用未标记的数据并设计两个专门用于TOWE的过滤器，以在不同的粒度上过滤嘈杂的数据。四个TOWE基准数据集的广泛实验结果表明，与当前的最新方法相比，MGCR的优越性。深入分析还证明了不同粒度过滤器的有效性。我们的代码可在https://github.com/towessl/towessl上找到。
translated by 谷歌翻译
目的：心电图（ECG）信号通常会遭受噪声干扰，例如基线徘徊。心电图信号的高质量和高保真重建对于诊断心血管疾病具有重要意义。因此，本文提出了一种新型的心电图基线徘徊和降噪技术。方法：我们以特定于心电图信号的条件方式扩展模型，即心电图基线徘徊和噪声去除（Descod-ECG）的基于深度分数的扩散模型。此外，我们部署了一个多拍的平均策略，以改善信号重建。我们在QT数据库和MIT-BIH噪声应力测试数据库上进行了实验，以验证该方法的可行性。采用基线方法进行比较，包括传统的基于数字过滤器和基于深度学习的方法。结果：数量评估结果表明，所提出的方法在四个基于距离的相似性指标（平方距离的总和，最大绝对正方形，根距离的百分比和余弦相似性）上获得了出色的性能，并具有3.771 $ \ pm $ 5.713 au，$ 5.713 au， 0.329 $ \ pm $ 0.258 au，40.527 $ \ pm $ 26.258 \％和0.926 $ \ pm $ 0.087。与最佳基线方法相比，这至少导致了至少20％的总体改进。结论：本文证明了Descod-ECG的最新性能用于ECG噪声，该噪声可以更好地近似真实的数据分布和在极端噪声腐败下较高的稳定性。意义：这项研究是最早扩展基于条件扩散的生成模型以去除ECG噪声的研究之一，并且Descod-ECG具有广泛用于生物医学应用的潜力。
translated by 谷歌翻译
在本文中，我们提出了与IEEE计算机协会在CVPR 2022上同时与IEEE计算机协会研讨会同时举行的多手术检测挑战。我们的多手术检测挑战旨在检测自动图像操作，包括但不限于图像编辑，图像合成，图像合成，图像，图像，图像，图像合成，图像，图像编辑一代，图像Photoshop等。我们的挑战吸引了来自世界各地的674支团队，约有2000个有效的结果提交数量。我们邀请了前十支球队为挑战提供解决方案，其中三支球队在大结局中获得了奖项。在本文中，我们介绍了前三名团队的解决方案，以增强图像伪造检测领域的研究工作。
translated by 谷歌翻译