如今，我们生活在一个极端的异质性时代。尽管传统的CPU架构种类繁多，但GPU和FPGA等加速器设备也出现在前景中，爆炸了可用解决方案池以执行应用程序。但是，由于硬件和软件之间的抽象关系，每个应用程序需求选择适当的设备是一项极具挑战性的任务。需要准确的自动优化算法才能应对当前硬件和软件的复杂性和多样性。最佳执行始终依赖于耗时的试验和错误方法。在过去的十年中，机器学习（ML）和自然语言处理（NLP）蓬勃发展，研究重点是深度建筑。在这种情况下，使用自然语言处理技术来源代码以进行自动调整任务是一个新兴的研究领域。在本文中，我们扩展了Cummins等人的工作，即DeepTune，该工作解决了加速OpenCL内核的最佳设备选择（CPU或GPU）的问题。我们确定了DeepTune的三个主要局限性，并基于这些局限性，我们提出了四个不同的DNN模型，可提供增强的源代码上下文信息。实验结果表明，我们提出的方法超过了康明斯等人的方法。工作，预测准确性最多可提高4％。
translated by 谷歌翻译
Document Visual Question Answering (DocVQA) refers to the task of answering questions from document images. Existing work on DocVQA only considers single-page documents. However, in real scenarios documents are mostly composed of multiple pages that should be processed altogether. In this work we extend DocVQA to the multi-page scenario. For that, we first create a new dataset, MP-DocVQA, where questions are posed over multi-page documents instead of single pages. Second, we propose a new hierarchical method, Hi-VT5, based on the T5 architecture, that overcomes the limitations of current methods to process long multi-page documents. The proposed method is based on a hierarchical transformer architecture where the encoder summarizes the most relevant information of every page and then, the decoder takes this summarized information to generate the final answer. Through extensive experimentation, we demonstrate that our method is able, in a single stage, to answer the questions and provide the page that contains the relevant information to find the answer, which can be used as a kind of explainability measure.
translated by 谷歌翻译
Video Question Answering methods focus on commonsense reasoning and visual cognition of objects or persons and their interactions over time. Current VideoQA approaches ignore the textual information present in the video. Instead, we argue that textual information is complementary to the action and provides essential contextualisation cues to the reasoning process. To this end, we propose a novel VideoQA task that requires reading and understanding the text in the video. To explore this direction, we focus on news videos and require QA systems to comprehend and answer questions about the topics presented by combining visual and textual cues in the video. We introduce the ``NewsVideoQA'' dataset that comprises more than $8,600$ QA pairs on $3,000+$ news videos obtained from diverse news channels from around the world. We demonstrate the limitations of current Scene Text VQA and VideoQA methods and propose ways to incorporate scene text information into VideoQA methods.
translated by 谷歌翻译
人类利用先验知识来描述图像，并能够使其解释适应特定的上下文信息，即使在上下文信息和图像不匹配时，也可以在发明合理的解释的范围内。在这项工作中，我们提出了通过整合上下文知识来字幕Wikipedia图像的新颖任务。具体而言，我们制作的模型共同推理了Wikipedia文章，Wikimedia图像及其相关描述以产生上下文化的标题。特别是，可以使用类似的Wikimedia图像来说明不同的文章，并且所产生的标题需要适应特定的上下文，因此使我们能够探索模型的限制以调整标题为不同的上下文信息。该领域中的一个特殊挑战性的任务是处理量不多的单词和命名实体。为了解决这个问题，我们提出了一个预训练目标，掩盖了命名实体建模（MNEM），并表明与基线模型相比，此借口任务可以改善。此外，我们验证了Wikipedia中使用MNEM目标预先训练的模型可以很好地推广到新闻字幕数据集。此外，我们根据字幕任务的难度定义了两种不同的测试拆分。我们提供有关每种方式的作用和重要性的见解，并突出我们模型的局限性。接受时，代码，模型和数据拆分可公开可用。
translated by 谷歌翻译
社交媒体平台主持了有关每天出现的各种主题的讨论。理解所有内容并将其组织成类别是一项艰巨的任务。处理此问题的一种常见方法是依靠主题建模，但是使用此技术发现的主题很难解释，并且从语料库到语料库可能会有所不同。在本文中，我们提出了基于推文主题分类的新任务，并发布两个相关的数据集。鉴于涵盖社交媒体中最重要的讨论点的广泛主题，我们提供了最近时间段的培训和测试数据，可用于评估推文分类模型。此外，我们在任务上对当前的通用和领域特定语言模型进行定量评估和分析，这为任务的挑战和性质提供了更多见解。
translated by 谷歌翻译
在本文中，我们介绍了一个多语言场景文本视觉问题的框架，以零拍的方式处理新语言。具体来说，我们考虑场景文本视觉质量回答（STVQA）的任务，其中可以用不同的语言提出问题，并且不一定与场景文本语言保持一致。因此，我们首先引入了自然的步骤，朝着更广泛的版本的STVQA：MUST-VQA介绍。考虑到这一点，我们讨论了在受约束设置的两个评估方案，即IID和零照片，我们证明这些模型可以在零拍设置的标准杆上执行。我们进一步提供了广泛的实验，并显示了将多语言模型调整为STVQA任务的有效性。
translated by 谷歌翻译
本文提出了2022年访问量的挑战的最终结果。 OOV竞赛介绍了一个重要方面，而光学角色识别（OCR）模型通常不会研究，即，在培训时对看不见的场景文本实例的识别。竞赛编制了包含326,385张图像的公共场景文本数据集的集合，其中包含4,864,405个场景文本实例，从而涵盖了广泛的数据分布。形成了一个新的独立验证和测试集，其中包括在训练时出词汇量不超出词汇的场景文本实例。竞争是在两项任务中进行的，分别是端到端和裁剪的文本识别。介绍了基线和不同参与者的结果的详尽分析。有趣的是，在新研究的设置下，当前的最新模型显示出显着的性能差距。我们得出的结论是，在此挑战中提出的OOV数据集将是要探索的重要领域，以开发场景文本模型，以实现更健壮和广义的预测。
translated by 谷歌翻译
在这项工作中，我们提出了一个框架，用于部署的无人驾驶汽车（UAV）的便携式接入点（PAP），以服务于一组接地节点（GNS）。除PAP和GNS外，该系统还由安装在人造结构上的一组智能反射表面（IRS）组成，以增加每焦耳的能源消耗的钻头数量，这些能量消耗被测量为全球能源效率（GEE）。 PAP的GEE轨迹是通过考虑UAV推进能量消耗和PAP电池的PEUKERT效应来设计的，PAP电池代表了精确的电池放电曲线作为无人机功耗概况的非线性功能。 GEE轨迹设计问题分为两个阶段：在第一个阶段，使用多层圆形填料方法找到了PAP的路径和可行位置，并使用替代方案计算所需的IRS相移值优化方法考虑了IRS元素的幅度和相位响应之间的相互依赖性；在第二阶段，使用新型的多轨迹设计算法计算PAP飞行速度和用户调度。数值评估表明：忽略Peukert效应高估了PAP的可用飞行时间；一定的阈值后，增加电池尺寸会减少PAP的可用飞行时间；与其他基线场景相比，IRS模块的存在改善了系统的GEE。与使用顺序凸编程和Dinkelbach算法的组合开发的单圈轨迹相比，多圈轨迹可节省更多的能量。
translated by 谷歌翻译
在本文中，我们介绍了TweetNLP，这是社交媒体中自然语言处理（NLP）的集成平台。TweetNLP支持一套多样化的NLP任务，包括诸如情感分析和命名实体识别的通用重点领域，以及社交媒体特定的任务，例如表情符号预测和进攻性语言识别。特定于任务的系统由专门用于社交媒体文本的合理大小的基于变压器的语言模型（尤其是Twitter）提供动力，无需专用硬件或云服务即可运行。TweetNLP的主要贡献是：（1）使用适合社会领域的各种特定于任务的模型，用于支持社交媒体分析的现代工具包的集成python库；（2）使用我们的模型进行无编码实验的交互式在线演示；（3）涵盖各种典型社交媒体应用的教程。
translated by 谷歌翻译
在本文中，我们提出了一个文本降低不变的自动编码器（Text-Diae），这是一种旨在解决两个任务的自我监督模型，即文本识别（手写或场景文本）和文档图像增强。我们首先采用基于变压器的体系结构，该体系结构将三个借口任务作为学习目标，在预训练期间必须在不使用标签数据的情况下进行优化。每个借口目标都是专门针对最终下游任务量身定制的。我们进行了几项消融实验，以确认所选借口任务的设计选择。重要的是，所提出的模型并未基于对比损失表现出先前最新方法的局限性，而同时需要更少的数据样本来收敛。最后，我们证明我们的方法超过了手写和场景文本识别和文档图像增强的现有监督和自我监督的设置中的最新设置。我们的代码和训练有素的模型将在〜\ url {http：// on_accepters}上公开提供。
translated by 谷歌翻译