Document summarization aims to create a precise and coherent summary of a text document. Many deep learning summarization models are developed mainly for English, often requiring a large training corpus and efficient pre-trained language models and tools. However, English summarization models for low-resource Indian languages are often limited by rich morphological variation, syntax, and semantic differences. In this paper, we propose GAE-ISumm, an unsupervised Indic summarization model that extracts summaries from text documents. In particular, our proposed model, GAE-ISumm uses Graph Autoencoder (GAE) to learn text representations and a document summary jointly. We also provide a manually-annotated Telugu summarization dataset TELSUM, to experiment with our model GAE-ISumm. Further, we experiment with the most publicly available Indian language summarization datasets to investigate the effectiveness of GAE-ISumm on other Indian languages. Our experiments of GAE-ISumm in seven languages make the following observations: (i) it is competitive or better than state-of-the-art results on all datasets, (ii) it reports benchmark results on TELSUM, and (iii) the inclusion of positional and cluster information in the proposed model improved the performance of summaries.
translated by 谷歌翻译
通常,在自然语言处理领域,识别指定实体是一项实用且具有挑战性的任务。由于混合的性质导致语言复杂性,因此在代码混合文本上命名的实体识别是进一步的挑战。本文介绍了CMNERONE团队在Semeval 2022共享任务11 Multiconer的提交。代码混合的NER任务旨在识别代码混合数据集中的命名实体。我们的工作包括在代码混合数据集上的命名实体识别(NER),来利用多语言数据。我们的加权平均F1得分为0.7044,即比基线大6%。
translated by 谷歌翻译
视觉和语言任务在研究界越来越受欢迎,但重点仍主要放在英语上。我们提出了一条管道,该管道利用仅英语视觉语言模型来训练目标语言的单语模型。我们建议扩展Oscar+,该模型利用对象标签作为学习图像文本对齐的锚点,以训练以不同语言的视觉问题回答数据集。我们提出了一种新颖的知识蒸馏方法,以使用并行句子以其他语言来训练模型。与其他在训练阶段的语料库中使用目标语言的模型相比,我们可以利用现有的英语模型使用明显较小的资源将知识转移到目标语言中。我们还以日语和印地语语言发布了一个大规模的视觉问题,回答数据集。尽管我们将工作限制为视觉问题的回答,但我们的模型可以扩展到任何序列级别的分类任务,并且也可以将其扩展到其他语言。本文重点介绍了两种语言,用于视觉问题回答任务 - 日语和印地语。我们的管道表现优于当前的最新模型的相对增加4.4%和13.4%的准确性。
translated by 谷歌翻译
语义上有意义的句子嵌入对于自然语言处理中的许多任务都很重要。为了获得此类嵌入,最近的研究探讨了利用验证语言模型(PLM)作为训练语料库的合成生成数据的想法。但是,PLM通常会产生与人类写的句子大不相同的句子。我们假设将所有这些合成示例同样地用于训练深层神经网络可能会对学习语义上有意义的嵌入产生不利影响。为了分析这一点,我们首先训练一个分类器来识别机器编写的句子,并观察到机器编写的句子的语言特征与人写的句子的语言特征大不相同。基于此,我们提出了一种新颖的方法,该方法首先训练分类器来衡量每个句子的重要性。然后,分类器的蒸馏信息用于训练可靠的句子嵌入模型。通过对四个现实世界数据集的广泛评估,我们证明了我们的合成数据训练的模型可以很好地概括并表现优于现有基线。我们的实现可在https://github.com/ddehun/coling2022_reweighting_sts上公开获得。
translated by 谷歌翻译
近年来,在全球范围内解决了强大的智能运输系统(ITS)的开发,以通过减少频繁的交通问题来提高交通效率。作为其应用,车辆的重新识别对计算机视觉和机器人技术的领域产生了充足的兴趣。开发了基于卷积的神经网络(CNN)方法来执行车辆重新识别,以应对诸如遮挡,照明变化,规模等的关键挑战。计算机视觉中变形金刚的进步已经为进一步探索重新识别流程提供了机会提高性能。在本文中,开发了一个框架来执行跨CCTV摄像机的车辆的重新识别。为了进行重新识别,提出的框架将使用CNN和变压器模型学习的车辆表示。该框架在一个数据集上进行了测试,该数据集包含在20个CCTV摄像机上观察到的81个独特的车辆身份。从实验中,融合的车辆重新识别框架的地图为61.73%,与独立的CNN或变压器模型相比,该框架的地图明显更好。
translated by 谷歌翻译
感官反应系统(例如机器人技术和AR/VR)必须采取高度响应的实时操作,这是由涉及感应,感知,计划和反应任务的复杂决策驱动的。这些任务必须安排在资源约束的设备上,以便满足应用程序的性能目标和要求。这是一个困难的调度问题,需要处理多个调度维度以及资源使用和可用性的变化。实际上,系统设计师手动调整其特定硬件和应用参数,从而导致泛化不良并增加了开发负担。在这项工作中,我们强调了在有感觉反应系统中在运行时安排CPU资源的新兴需求。我们研究三个规范应用程序(面部跟踪,机器人导航和VR),以首先了解此类系统的关键调度要求。凭借这种理解,我们开发了一个调度框架Catan,该框架动态调度了在应用程序的不同组件上计算资源,以满足指定的应用程序要求。通过在广泛使用的机器人技术框架(ROS)和开源AR/VR平台上实施的原型实验,我们显示了系统计划对达到三个应用程序的性能目标的影响,Catan能够更好地取得更好的成就应用程序性能比手工调整的配置以及如何动态适应运行时变化。
translated by 谷歌翻译
尽管最近的分布(OOD)检测,异常检测和不确定性估计任务的最新进展,但并不存在任务不合时宜的和事后方法。为了解决此限制,我们设计了一种基于聚类的新型结合方法,称为任务不可知和事后看不见的分布检测(TAPUDD),该方法利用了从对特定任务进行训练的模型中提取的功能。它明确地包括Tap-Mahalanobis,该曲线簇起训练数据集的特征,并确定了所有群集的测试样品的最小Mahalanobis距离。此外,我们提出了一个结合模块,该模块汇总了对不同数量簇的迭代TAP-MAHALANOBIS的计算,以提供可靠,有效的群集计算。通过对合成和现实世界数据集进行的广泛实验,我们观察到我们的方法可以在各种任务中有效地检测出看不见的样本,并与现有基线进行更好的或与现有基线相比。为此,我们消除了确定簇数量的最佳价值的必要性,并证明我们的方法对于大规模分类任务更可行。
translated by 谷歌翻译
联合学习(FL)是一个活跃的研究领域。采用FL的最合适区域之一是医疗领域,必须尊重患者隐私。但是,先前的研究并未完全考虑谁最有可能在医疗领域使用FL。渴望采用FL的不是医院,而是想要开发具有真实患者记录的机器学习模型的服务提供商。此外,服务提供商希望以最低成本的可能性来最大程度地提高模型的性能。在这项工作中,我们提出了FL方法的经验基准,考虑了三个现实世界数据集的性能和货币成本:电子健康记录,皮肤癌图像和心电图数据集。我们还建议使用近端正则化的联合学习,除了局部归一化(FEDPXN),该学习使用FEDPROX和FEDBN的简单组合优于所有其他FL算法,而仅消耗比最高效率的方法稍大一些。
translated by 谷歌翻译
微调预训练的语言模型可以提高商业回复建议系统的质量,但以不可持续的培训时间的成本。流行的训练时间减少方法是资源密集型,因此我们探索了低成本的模型压缩技术,如层次掉线和冻结层。我们展示了这些技术在大数据场景中的功效,使商业电子邮件回复建议系统的培训时间减少了42%,而不会影响模型相关性或用户参与。我们进一步研究了这些技术的稳健性,以预先训练的模型和数据集大小消融,并为商业应用分享了几个见解和建议。
translated by 谷歌翻译