为低资源语言开发自然语言处理资源是一个具有挑战性的，但必不可少的任务。在本文中，我们为古吉拉特提提出了一种形态学分析仪。我们使用了基于双向LSTM的方法来执行语素边界检测和语法特征标记。我们创建了一个带有引理和语法特征的古吉拉特语的数据集。本文讨论的基于Bi-LSTM的Morph分析仪模型，有效地处理了语言形态，而不知道任何手工制作的后缀规则。据我们所知，这是Gujarati语言的第一个DataSet和Morph分析仪模型，它执行语法特征标记和语素边界检测任务。
translated by 谷歌翻译
自动言论（POS）标记是许多自然语言处理（NLP）任务的预处理步骤，例如名称实体识别（NER），语音处理，信息提取，单词sense sisse disampigation和Machine Translation。它已经在英语和欧洲语言方面取得了令人鼓舞的结果，但是使用印度语言，尤其是在Odia语言中，由于缺乏支持工具，资源和语言形态丰富性，因此尚未得到很好的探索。不幸的是，我们无法为ODIA找到一个开源POS标记，并且仅尝试为ODIA语言开发POS标记器的尝试。这项研究工作的主要贡献是介绍有条件的随机场（CRF）和基于深度学习的方法（CNN和双向长期短期记忆）来开发ODIA的语音部分。我们使用了一个公开访问的语料库，并用印度标准局（BIS）标签设定了数据集。但是，全球的大多数语言都使用了带有通用依赖项（UD）标签集注释的数据集。因此，要保持统一性，odia数据集应使用相同的标签集。因此，我们已经构建了一个从BIS标签集到UD标签集的简单映射。我们对CRF模型进行了各种特征集输入，观察到构造特征集的影响。基于深度学习的模型包括BI-LSTM网络，CNN网络，CRF层，角色序列信息和预训练的单词向量。通过使用卷积神经网络（CNN）和BI-LSTM网络提取角色序列信息。实施了神经序列标记模型的六种不同组合，并研究了其性能指标。已经观察到具有字符序列特征和预训练的单词矢量的BI-LSTM模型取得了显着的最新结果。
translated by 谷歌翻译
2022-12-14
Part of Speech (POS) tagging is crucial to Natural Language Processing (NLP). It is a well-studied topic in several resource-rich languages. However, the development of computational linguistic resources is still in its infancy despite the existence of numerous languages that are historically and literary rich. Assamese, an Indian scheduled language, spoken by more than 25 million people, falls under this category. In this paper, we present a Deep Learning (DL)-based POS tagger for Assamese. The development process is divided into two stages. In the first phase, several pre-trained word embeddings are employed to train several tagging models. This allows us to evaluate the performance of the word embeddings in the POS tagging task. The top-performing model from the first phase is employed to annotate another set of new sentences. In the second phase, the model is trained further using the fresh dataset. Finally, we attain a tagging accuracy of 86.52% in F1 score. The model may serve as a baseline for further study on DL-based Assamese POS tagging.
translated by 谷歌翻译
2022-07-02
命名实体识别是一项信息提取任务，可作为其他自然语言处理任务的预处理步骤，例如机器翻译，信息检索和问题答案。命名实体识别能够识别专有名称以及开放域文本中的时间和数字表达式。对于诸如阿拉伯语，阿姆哈拉语和希伯来语之类的闪族语言，由于这些语言的结构严重变化，指定的实体识别任务更具挑战性。在本文中，我们提出了一个基于双向长期记忆的Amharic命名实体识别系统，并带有条件随机字段层。我们注释了一种新的Amharic命名实体识别数据集（8,070个句子，具有182,691个令牌），并将合成少数群体过度采样技术应用于我们的数据集，以减轻不平衡的分类问题。我们命名的实体识别系统的F_1得分为93％，这是Amharic命名实体识别的新最新结果。
translated by 谷歌翻译
词性（POS）标签的一部分在自然语言处理（NLP）中起重要作用。它的应用程序可以在许多NLP任务中找到，例如命名实体识别，句法解析，依赖性解析和文本块。在本文进行的调查中，我们利用了两个广泛使用的工具包的技术，即Clearnlp和Stanford Pos Tagger，以及为越南人开发了两个新的POS标签，然后将它们与三个著名的越南标签者进行比较，即vntagger和rdrpostagger。我们进行系统的比较，以找出具有最佳性能的标签器。我们还设计了一个新功能集来衡量统计标签者的性能。我们由Stanford Tagger和新功能集构建的新标签者可以在标记准确性方面胜过所有其他当前的越南标签。此外，我们还分析了某些功能对统计标签者的性能的感情。最后，实验结果还表明，基于转换的标签器Rdrpostagger的运行速度明显快于任何其他统计标签器。
translated by 谷歌翻译
在这个数字时代，几乎在每个学科中，人们都在使用自动化系统，这些系统以不同的自然语言以文档格式表示信息。结果，人们对找到，组织和分析这些文件的更好解决方案越来越兴趣。在本文中，我们提出了一个系统，该系统将使用神经词嵌入的百科全书知识（EK）群簇。 EK启用相关概念和神经词嵌入的表示，使我们能够处理相关性的上下文。在聚类过程中，所有文本文档都通过预处理阶段。通过使用EK和Word Embedding模型映射，从每个文档中提取了丰富的文本文档功能。生成了富集特征的TF-IDF加权载体。最后，使用流行的球形K-均值算法聚类文本文档。提出的系统通过Amharic文本语料库和Amharic Wikipedia数据进行了测试。测试结果表明，将EK与单词嵌入文档聚类的使用可提高仅使用EK的平均准确性。此外，改变班级的大小对准确性有重大影响。
translated by 谷歌翻译
我们介绍ASNER，这是一种使用基线阿萨姆语NER模型的低资源阿萨姆语言的命名实体注释数据集。该数据集包含大约99k代币，其中包括印度总理和阿萨姆人戏剧演讲中的文字。它还包含个人名称，位置名称和地址。拟议的NER数据集可能是基于深神经的阿萨姆语言处理的重要资源。我们通过训练NER模型进行基准测试数据集并使用最先进的体系结构评估被监督的命名实体识别（NER），例如FastText，Bert，XLM-R，Flair，Muril等。我们实施了几种基线方法，标记BI-LSTM-CRF体系结构的序列。当使用Muril用作单词嵌入方法时，所有基线中最高的F1得分的准确性为80.69％。带注释的数据集和最高性能模型公开可用。
translated by 谷歌翻译
Sigmorphon 2022关于词素分割的共享任务挑战了将单词分解为一系列词素的系统，并涵盖了大多数类型的形态：化合物，衍生和弯曲。子任务1，单词级词素细分，涵盖了9种语言的500万个单词（捷克，英语，西班牙语，匈牙利语，法语，意大利语，俄语，拉丁语，蒙古语），并收到了7个团队的13个系统提交，最佳系统平均为97.29％F1在所有语言中得分，英语（93.84％）到拉丁语（99.38％）。子任务2，句子级的词素细分，涵盖了3种语言的18,735个句子（捷克，英语，蒙古人），从3个团队中收到10个系统提交，最好的系统优于所有三种最先进的子字体化方法（BPE（BPE），Ulm，Morfessor2）绝对30.71％。为了促进错误分析并支持任何类型的未来研究，我们发布了所有系统预测，评估脚本和所有黄金标准数据集。
translated by 谷歌翻译
在这项研究中，我们提出了一种基于词素的方案，用于韩国依赖解析，并采用拟议方案来普遍依赖。我们介绍了语言原理，该基本原理说明了采用基于词素的格式的动机和必要性，并开发了脚本，这些脚本会在通用依赖项使用的原始格式和所提出的基于词素的格式自动之间转换。然后，统计和神经模型（包括udpipe和stanza）证明了提出的格式对韩国依赖解析的有效性，并以我们精心构造的基于词素的单词嵌入韩语。Morphud的表现优于所有韩国UD Treebanks的解析结果，我们还提供了详细的错误分析。
translated by 谷歌翻译
通用形态（UNIMORPH）项目是一项合作的努力，可为数百种世界语言实例化覆盖范围的标准化形态拐角。该项目包括两个主要的推力：一种无独立的特征架构，用于丰富的形态注释，并以各种语言意识到该模式的各种语言的带注释数据的类型级别资源。本文介绍了过去几年对几个方面的扩张和改进（自McCarthy等人（2020年）以来）。众多语言学家的合作努力增加了67种新语言，其中包括30种濒危语言。我们已经对提取管道进行了一些改进，以解决一些问题，例如缺少性别和马克龙信息。我们还修改了模式，使用了形态学现象所需的层次结构，例如多肢体协议和案例堆叠，同时添加了一些缺失的形态特征，以使模式更具包容性。鉴于上一个UniMorph版本，我们还通过16种语言的词素分割增强了数据库。最后，这个新版本通过通过代表来自metphynet的派生过程的实例丰富数据和注释模式来推动将衍生物形态纳入UniMorph中。
translated by 谷歌翻译
The BERT family of neural language models have become highly popular due to their ability to provide sequences of text with rich context-sensitive token encodings which are able to generalise well to many NLP tasks. We introduce gaBERT, a monolingual BERT model for the Irish language. We compare our gaBERT model to multilingual BERT and the monolingual Irish WikiBERT, and we show that gaBERT provides better representations for a downstream parsing task. We also show how different filtering criteria, vocabulary size and the choice of subword tokenisation model affect downstream performance. We compare the results of fine-tuning a gaBERT model with an mBERT model for the task of identifying verbal multiword expressions, and show that the fine-tuned gaBERT model also performs better at this task. We release gaBERT and related code to the community.
translated by 谷歌翻译
数据饥饿的深度神经网络已经将自己作为许多NLP任务的标准建立为包括传统序列标记的标准。尽管他们在高资源语言上表现最先进的表现，但它们仍然落后于低资源场景的统计计数器。一个方法来反击攻击此问题是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近目睹了一种文本增强技术的负载，但该领域仍然缺乏对多种语言和序列标记任务的系统性能分析。为了填补这一差距，我们调查了三类文本增强方法，其在语法（例如，裁剪子句子），令牌（例如，随机字插入）和字符（例如，字符交换）级别上执行更改。我们系统地将它们与语音标记，依赖解析和语义角色标记的分组进行了比较，用于使用各种模型的各种语言系列，包括依赖于诸如MBERT的普赖金的多语言语境化语言模型的架构。增强最显着改善了解析，然后是语音标记和语义角色标记的依赖性解析。我们发现实验技术通常在形态上丰富的语言，而不是越南语等分析语言。我们的研究结果表明，增强技术可以进一步改善基于MBERT的强基线。我们将字符级方法标识为最常见的表演者，而同义词替换和语法增强仪提供不一致的改进。最后，我们讨论了最大依赖于任务，语言对和模型类型的结果。
translated by 谷歌翻译
2021-12-06
数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。
translated by 谷歌翻译
在本文中，我们推出了一种新的通用依赖树木库，用于亚马逊尼亚的一种濒危语言：秘鲁在秘鲁说的Panoan语言Kakataibo。我们首先讨论实施的协作方法，事实证明，在本科生的计算语言课程的背景下创建树库有效。然后，我们描述了树库的一般细节以及针对拟议的注释实施的特定于语言的注意事项。我们最终对词性标记和句法依赖性解析进行了一些实验。我们专注于单语和转移学习设置，在这里我们研究了另一种Panoan语言资源的Shipibo-Konibo Treebos的影响。
translated by 谷歌翻译
对任何人类语言的文本的语法分析通常涉及许多基本的处理任务，例如令牌化，形态标记和依赖性解析。最先进的系统可以在具有大数据集的语言上实现这些任务的高精度，但是对于几乎没有带注释的数据的他的他加禄语等语言的结果很差。为了解决他加禄语语言的此问题，我们研究了在没有带注释的他加禄语数据的情况下使用辅助数据源来创建特定于任务模型的使用。我们还探索了单词嵌入和数据扩展的使用，以提高性能，而只有少量带注释的他加禄语数据可用。我们表明，与最先进的监督基线相比，这些零射击和几乎没有射击的方法在对域内和域外的塔加尔teact文本进行了语法分析方面进行了实质性改进。
translated by 谷歌翻译
在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。
translated by 谷歌翻译
Magahi是一种印度东部地区的印度雅典语言。尽管具有大量扬声器，但对于语言而言，几乎没有语言资源（LR）或语言技术（LT），主要是因为其状态为非预定语言。本文介绍了开发Magahi的注释语料库的尝试。这些数据主要从Magahi中的几个博客中获取，Magahi中的一些故事集合以及Magahi的录音，它使用BIS Tagset在POS级别注释。
translated by 谷歌翻译
The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.
translated by 谷歌翻译
We propose a unified neural network architecture and learning algorithm that can be applied to various natural language processing tasks including: part-of-speech tagging, chunking, named entity recognition, and semantic role labeling. This versatility is achieved by trying to avoid task-specific engineering and therefore disregarding a lot of prior knowledge. Instead of exploiting man-made input features carefully optimized for each task, our system learns internal representations on the basis of vast amounts of mostly unlabeled training data. This work is then used as a basis for building a freely available tagging system with good performance and minimal computational requirements.
translated by 谷歌翻译
We describe a single convolutional neural network architecture that, given a sentence, outputs a host of language processing predictions: part-of-speech tags, chunks, named entity tags, semantic roles, semantically similar words and the likelihood that the sentence makes sense (grammatically and semantically) using a language model. The entire network is trained jointly on all these tasks using weight-sharing, an instance of multitask learning. All the tasks use labeled data except the language model which is learnt from unlabeled text and represents a novel form of semi-supervised learning for the shared tasks. We show how both multitask learning and semi-supervised learning improve the generalization of the shared tasks, resulting in stateof-the-art performance.
translated by 谷歌翻译