BERT等语言模型的兴起允许高质量的文本释义。这是学术完整性的问题，因为很难区分原始和机器生成的内容。我们提出了一种由依赖于变压器架构的最近语言模型组成的基准。我们的贡献促进了对解释检测系统的未来研究，因为它提供了一系列对齐的原始和解剖文件，了解其结构，具有最先进系统的分类实验，我们将我们的调查结果公开提供。

雇用措施恳求抄袭文本的措施是对学术诚信的严重威胁。要启用检测机释录的文本，我们会评估五个预先训练的单词嵌入模型的有效性与机器学习分类器和最先进的神经语言模型相结合。我们分析了研究论文，毕业论文和维基百科文章的预印刷品，我们使用不同的工具SpinBot和Spinnerchief释放。最佳的表演技术，啰素，平均F1得分为80.99％（F1 = 99.68％，纺纱病例的F1 = 71.64％），而人类评估员均达到纺纱病例的F1 = 78.4％，F1 = 65.6％的纺纱病例。我们表明，自动分类减轻了广泛使用的文本匹配系统的缺点，例如金风格和Plagscan。为了促进未来的研究，所有数据，代码和两个展示我们贡献的Web应用程序都公开使用。

The recent success of large language models for text generation poses a severe threat to academic integrity, as plagiarists can generate realistic paraphrases indistinguishable from original work. However, the role of large autoregressive transformers in generating machine-paraphrased plagiarism and their detection is still developing in the literature. This work explores T5 and GPT-3 for machine-paraphrase generation on scientific articles from arXiv, student theses, and Wikipedia. We evaluate the detection performance of six automated solutions and one commercial plagiarism detection software and perform a human study with 105 participants regarding their detection performance and the quality of generated examples. Our results suggest that large models can rewrite text humans have difficulty identifying as machine-paraphrased (53% mean acc.). Human experts rate the quality of paraphrases generated by GPT-3 as high as original texts (clarity 4.0/5, fluency 4.2/5, coherence 3.8/5). The best-performing detection model (GPT-3) achieves a 66% F1-score in detecting paraphrases.

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

来自变压器（BERT）的双向编码器表示显示了各种NLP任务的奇妙改进，并且已经提出了其连续的变体来进一步提高预先训练的语言模型的性能。在本文中，我们的目标是首先介绍中国伯特的全文掩蔽（WWM）策略，以及一系列中国预培训的语言模型。然后我们还提出了一种简单但有效的型号，称为Macbert，这在几种方面提高了罗伯塔。特别是，我们提出了一种称为MLM作为校正（MAC）的新掩蔽策略。为了展示这些模型的有效性，我们创建了一系列中国预先培训的语言模型，作为我们的基线，包括BERT，Roberta，Electra，RBT等。我们对十个中国NLP任务进行了广泛的实验，以评估创建的中国人托管语言模型以及提议的麦克白。实验结果表明，Macbert可以在许多NLP任务上实现最先进的表演，我们还通过几种可能有助于未来的研究的调查结果来消融细节。我们开源我们的预先培训的语言模型，以进一步促进我们的研究界。资源可用：https://github.com/ymcui/chinese-bert-wwm

潜在的生命危及危及生命的错误信息急剧上升是Covid-19大流行的副产品。计算支持，以识别关于该主题的大规模数据内的虚假信息至关重要，以防止伤害。研究人员提出了许多用于标记与Covid-19相关的在线错误信息的方法。但是，这些方法主要针对特定​​的内容类型（例如，新闻）或平台（例如，Twitter）。概括的方法的能力在很大程度上尚不清楚。我们在五十个COVID-19错误信息数据集中评估基于15个变压器的模型，包括社交媒体帖子，新闻文章和科学论文来填补这一差距。我们向Covid-19数据量身定制的标记和模型不提供普通目的的数据的显着优势。我们的研究为检测Covid-19错误信息的模型提供了逼真的评估。我们预计评估广泛的数据集和模型将使未来的开发错误信息检测系统进行未来的研究。

Laws and their interpretations, legal arguments and agreements\ are typically expressed in writing, leading to the production of vast corpora of legal text. Their analysis, which is at the center of legal practice, becomes increasingly elaborate as these collections grow in size. Natural language understanding (NLU) technologies can be a valuable tool to support legal practitioners in these endeavors. Their usefulness, however, largely depends on whether current state-of-the-art models can generalize across various tasks in the legal domain. To answer this currently open question, we introduce the Legal General Language Understanding Evaluation (LexGLUE) benchmark, a collection of datasets for evaluating model performance across a diverse set of legal NLU tasks in a standardized way. We also provide an evaluation and analysis of several generic and legal-oriented models demonstrating that the latter consistently offer performance improvements across multiple tasks.

NLP是与计算机或机器理解和解释人类语言的能力有关的人工智能和机器学习的一种形式。语言模型在文本分析和NLP中至关重要，因为它们允许计算机解释定性输入并将其转换为可以在其他任务中使用的定量数据。从本质上讲，在转移学习的背景下，语言模型通常在大型通用语料库上进行培训，称为预训练阶段，然后对特定的基本任务进行微调。结果，预训练的语言模型主要用作基线模型，该模型包含了对上下文的广泛掌握，并且可以进一步定制以在新的NLP任务中使用。大多数预训练的模型都经过来自Twitter，Newswire，Wikipedia和Web等通用领域的Corpora培训。在一般文本中训练的现成的NLP模型可能在专业领域效率低下且不准确。在本文中，我们提出了一个名为Securebert的网络安全语言模型，该模型能够捕获网络安全域中的文本含义，因此可以进一步用于自动化，用于许多重要的网络安全任务，否则这些任务将依靠人类的专业知识和繁琐的手动努力。 Securebert受到了我们从网络安全和一般计算域的各种来源收集和预处理的大量网络安全文本培训。使用我们提出的令牌化和模型权重调整的方法，Securebert不仅能够保留对一般英语的理解，因为大多数预训练的语言模型都可以做到，而且在应用于具有网络安全含义的文本时也有效。

近年来，我们看到了处理敏感个人信息的应用程序（包括对话系统）的指数增长。这已经揭示了在虚拟环境中有关个人数据保护的极为重要的问题。首先，性能模型应该能够区分敏感内容与中性句子的句子。其次，它应该能够识别其中包含的个人数据类别的类型。这样，可以考虑每个类别的不同隐私处理。在文献中，如果有关于自动敏感数据识别的作品，则通常在没有共同基准的不同域或语言上进行。为了填补这一空白，在这项工作中，我们介绍了SPEDAC，这是一个新的注释基准，用于识别敏感的个人数据类别。此外，我们提供了对数据集的广泛评估，该数据集使用不同的基准和基于Roberta的分类器进行的，这是一种神经体系结构，在检测敏感句子和个人数据类别的分类方面实现了强大的性能。

Understanding customer feedback is becoming a necessity for companies to identify problems and improve their products and services. Text classification and sentiment analysis can play a major role in analyzing this data by using a variety of machine and deep learning approaches. In this work, different transformer-based models are utilized to explore how efficient these models are when working with a German customer feedback dataset. In addition, these pre-trained models are further analyzed to determine if adapting them to a specific domain using unlabeled data can yield better results than off-the-shelf pre-trained models. To evaluate the models, two downstream tasks from the GermEval 2017 are considered. The experimental results show that transformer-based models can reach significant improvements compared to a fastText baseline and outperform the published scores and previous models. For the subtask Relevance Classification, the best models achieve a micro-averaged $F1$-Score of 96.1 % on the first test set and 95.9 % on the second one, and a score of 85.1 % and 85.3 % for the subtask Polarity Classification.

用于探索美国国家航空航天局的搜索工具（广告）可以相当丰富和赋予（例如，类似和趋势的运营商），但研究人员尚未允许完全杠杆语义搜索。例如，对“普朗克任务的结果”查询应该能够区分普朗克（人，任务，常量，机构和更多）的所有各种含义，而无需从用户进一步澄清。在广告中，我们正在将现代机器学习和自然语言处理技术应用于我们最近的天文出版物的数据集，以培训Astrobert，这是一种基于Google研究的深刻语境语言模型。使用AstrBert，我们的目标是丰富广告数据集并提高其可发现性，特别是我们正在开发自己的命名实体识别工具。我们在这里展示我们初步的结果和经验教训。

In this work, we introduce IndicXTREME, a benchmark consisting of nine diverse tasks covering 18 languages from the Indic sub-continent belonging to four different families. Across languages and tasks, IndicXTREME contains a total of 103 evaluation sets, of which 51 are new contributions to the literature. To maintain high quality, we only use human annotators to curate or translate\footnote{for IndicXParaphrase, where an automatic translation system is used, a second human verification and correction step is done.} our datasets. To the best of our knowledge, this is the first effort toward creating a standard benchmark for Indic languages that aims to test the zero-shot capabilities of pretrained language models. We also release IndicCorp v2, an updated and much larger version of IndicCorp that contains 20.9 billion tokens in 24 languages. We pretrain IndicBERT v2 on IndicCorp v2 and evaluate it on IndicXTREME to show that it outperforms existing multilingual language models such as XLM-R and MuRIL.

识别跨语言抄袭是挑战性的，特别是对于遥远的语言对和感知翻译。我们介绍了这项任务的新型多语言检索模型跨语言本体论（CL \ nobreakdash-osa）。 CL-OSA表示从开放知识图Wikidata获得的实体向量的文档。反对其他方法，Cl \ nobreakdash-osa不需要计算昂贵的机器翻译，也不需要使用可比较或平行语料库进行预培训。它可靠地歧义同音异义和缩放，以允许其应用于Web级文档集合。我们展示了CL-OSA优于从五个大局部多样化的测试语料中检索候选文档的最先进的方法，包括日语英语等遥控语言对。为了识别在角色级别的跨语言抄袭，CL-OSA主要改善了感觉识别翻译的检测。对于这些挑战性案例，CL-OSA在良好的Plagdet得分方面的表现超过了最佳竞争对手的比例超过两种。我们研究的代码和数据公开可用。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

The field of cybersecurity is evolving fast. Experts need to be informed about past, current and - in the best case - upcoming threats, because attacks are becoming more advanced, targets bigger and systems more complex. As this cannot be addressed manually, cybersecurity experts need to rely on machine learning techniques. In the texutual domain, pre-trained language models like BERT have shown to be helpful, by providing a good baseline for further fine-tuning. However, due to the domain-knowledge and many technical terms in cybersecurity general language models might miss the gist of textual information, hence doing more harm than good. For this reason, we create a high-quality dataset and present a language model specifically tailored to the cybersecurity domain, which can serve as a basic building block for cybersecurity systems that deal with natural language. The model is compared with other models based on 15 different domain-dependent extrinsic and intrinsic tasks as well as general tasks from the SuperGLUE benchmark. On the one hand, the results of the intrinsic tasks show that our model improves the internal representation space of words compared to the other models. On the other hand, the extrinsic, domain-dependent tasks, consisting of sequence tagging and classification, show that the model is best in specific application scenarios, in contrast to the others. Furthermore, we show that our approach against catastrophic forgetting works, as the model is able to retrieve the previously trained domain-independent knowledge. The used dataset and trained model are made publicly available

这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务，我们的分析表明，在包括Sinhala（XLM-R，Labse和Laser）的预训练的多语言模型中，XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型，它们远远优于僧伽罗的现有预训练的语言模型。我们表明，在微调时，这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线，并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议，用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集，可用于僧伽罗文本分类的未来研究，并公开发布我们的预培训模型。

由于BERT出现，变压器语言模型和转移学习已成为自然语言理解任务的最先进。最近，一些作品适用于特定领域的预训练，专制模型，例如科学论文，医疗文件等。在这项工作中，我们呈现RoberTuito，用于西班牙语中的用户生成内容的预先训练的语言模型。我们在西班牙语中培训了罗伯特托5亿推文。关于涉及用户生成文本的4个任务的基准测试显示，罗伯特托多于西班牙语的其他预先接受的语言模型。为了帮助进一步研究，我们将罗伯特多公开可在HuggingFace Model Hub上提供。

大型基于变压器的预训练的语言模型在各种知识密集的任务上取得了令人印象深刻的表现，并可以在其参数中捕获事实知识。我们认为，考虑到不断增长的知识和资源需求，在模型参数中存储大量知识是亚最佳选择。我们认为，更有效的替代方法是向模型提供对上下文相关的结构化知识的明确访问，并训练它以使用该知识。我们提出了LM核 - 实现这一目标的一般框架 - 允许从外部知识源对语言模型培训的\ textit {解耦}，并允许后者更新而不会影响已经训练的模型。实验结果表明，LM核心获得外部知识，在知识探索任务上的最先进的知识增强语言模型中实现了重要而强大的优于性能。可以有效处理知识更新；并在两个下游任务上表现良好。我们还提出了一个彻底的错误分析，突出了LM核的成功和失败。

链接的开放数据实践导致了过去十年中网络上结构化数据的显着增长。这样的结构化数据以机器可读的方式描述了现实世界实体，并为自然语言处理领域的研究创造了前所未有的机会。但是，缺乏有关如何使用此类数据，哪种任务以及它们在多大程度上对这些任务有用的研究。这项工作着重于电子商务领域，以探索利用此类结构化数据来创建可能用于产品分类和链接的语言资源的方法。我们以RDF N四分之一的形式处理数十亿个结构化数据点，以创建数百万个与产品相关的语料库单词，后来以三种不同的方式用于创建语言资源：培训单词嵌入模型，继续预训练类似于Bert的语言模型和训练机器翻译模型，这些模型被用作生成产品相关的关键字的代理。我们对大量基准测试的评估表明，嵌入单词是提高这两个任务准确性的最可靠和一致的方法（在某些数据集中，宏观 - 平均F1中最高6.9个百分点）。但是，其他两种方法并不那么有用。我们的分析表明，这可能是由于许多原因，包括结构化数据中的偏置域表示以及缺乏词汇覆盖范围。我们分享我们的数据集，并讨论如何将我们所学到的经验教训朝着这一方向介绍未来的研究。

Cloze任务是一种广泛使用的任务，可以评估NLP系统的语言理解能力。然而，大多数现有的渗透任务只需要NLP系统以提供每个输入数据样本的相对最佳预测，而不是在输入域中以一致的方式以一致的方式为所有可能的预测的绝对质量。因此，提出了一种新的任务：预测填充任务中的填充词是一个好的，中立或坏候选者。可以扩展复杂的版本以预测更多离散类或连续分数。我们专注于Semoval 2022任务7的子任务，探讨了一些可能的架构来解决这一新任务，提供了对它们的详细比较，并提出了一种在这项新任务中改进传统模型的集合方法。