Given the impact of language models on the field of Natural Language Processing, a number of Spanish encoder-only masked language models (aka BERTs) have been trained and released. These models were developed either within large projects using very large private corpora or by means of smaller scale academic efforts leveraging freely available data. In this paper we present a comprehensive head-to-head comparison of language models for Spanish with the following results: (i) Previously ignored multilingual models from large companies fare better than monolingual models, substantially changing the evaluation landscape of language models in Spanish; (ii) Results across the monolingual models are not conclusive, with supposedly smaller and inferior models performing competitively. Based on these empirical results, we argue for the need of more research to understand the factors underlying them. In this sense, the effect of corpus size, quality and pre-training techniques need to be further investigated to be able to obtain Spanish monolingual models significantly better than the multilingual ones released by large private companies, specially in the face of rapid ongoing progress in the field. The recent activity in the development of language technology for Spanish is to be welcomed, but our results show that building language models remains an open, resource-heavy problem which requires to marry resources (monetary and/or computational) with the best research expertise and practice.

这项研究提供了对僧伽罗文本分类的预训练语言模型的性能的首次全面分析。我们测试了一组不同的Sinhala文本分类任务，我们的分析表明，在包括Sinhala（XLM-R，Labse和Laser）的预训练的多语言模型中，XLM-R是迄今为止Sinhala文本的最佳模型分类。我们还预先培训了两种基于罗伯塔的单语僧伽罗模型，它们远远优于僧伽罗的现有预训练的语言模型。我们表明，在微调时，这些预训练的语言模型为僧伽罗文本分类树立了非常强大的基线，并且在标记数据不足以进行微调的情况下非常强大。我们进一步提供了一组建议，用于使用预训练的模型进行Sinhala文本分类。我们还介绍了新的注释数据集，可用于僧伽罗文本分类的未来研究，并公开发布我们的预培训模型。

大型预用屏蔽语言模型已成为许多NLP问题的最先进的解决方案。虽然研究表明，单晶模型产生比多语言模型产生更好的结果，但训练数据集必须足够大。我们培训了立陶宛，拉脱维亚语和英语的三种语言Litlat Bert样模型，以及爱沙尼亚的单语Est-Roberta模型。我们在四个下游任务中评估它们的性能：命名实体识别，依赖解析，词语标记和单词类比。为了分析对单一语言的重要性以及大型培训集的重要性，我们将创建的模型与爱沙尼亚，拉脱维亚和立陶宛人进行了现有的单语和多语言伯特模型。结果表明，新创建的Litlat Bert和Est-Roberta模型在大多数情况下改善了所有测试任务的现有模型的结果。

最近，大型预用语言模型（LMS）越来越受欢迎。培训这些模型需要更多的计算资源，并且大多数现有模型仅在英文文本上培训。以其他语言训练这些模型非常昂贵。为了缓解这个问题，我们介绍了一种叫做威施塞的方法 - 将英语模型传输到新语言。我们将英语模型的销量与目标语言中的销量交换，并初始化令牌嵌入式，以便通过利用覆盖英语和目标语言的多语言静态字嵌入来初始化令牌嵌入式。我们使用Wechsel将GPT-2和Roberta模型转移到4种其他语言（法语，德语，中文和斯瓦希里语）。 Wechsel通过以前提出的跨语言参数转移和优于比较大小的模型来改善从目标语言的划痕训练的相当大小的型号，距离培训速度较小。我们的方法使培训大型语言模型为新语言更容易访问，更少损害环境。我们宣传我们的代码和型号。

Transformer language models (TLMs) are critical for most NLP tasks, but they are difficult to create for low-resource languages because of how much pretraining data they require. In this work, we investigate two techniques for training monolingual TLMs in a low-resource setting: greatly reducing TLM size, and complementing the masked language modeling objective with two linguistically rich supervised tasks (part-of-speech tagging and dependency parsing). Results from 7 diverse languages indicate that our model, MicroBERT, is able to produce marked improvements in downstream task evaluations relative to a typical monolingual TLM pretraining approach. Specifically, we find that monolingual MicroBERT models achieve gains of up to 18% for parser LAS and 11% for NER F1 compared to a multilingual baseline, mBERT, while having less than 1% of its parameter count. We conclude reducing TLM parameter count and using labeled data for pretraining low-resource TLMs can yield large quality benefits and in some cases produce models that outperform multilingual approaches.

多语言语言模型（\ mllms），如mbert，xlm，xlm-r，\ textit {etc。}已成为一种可行的选择，使预先估计到大量语言的力量。鉴于他们的成功在零射击转移学习中，在（i）建立更大的\ mllms〜覆盖了大量语言（ii）创建覆盖更广泛的任务和语言来评估的详尽工作基准mllms〜（iii）分析单音零点，零拍摄交叉和双语任务（iv）对Monolingual的性能，了解\ mllms〜（v）增强（通常）学习的通用语言模式（如果有的话）有限的容量\ mllms〜以提高他们在已见甚至看不见语言的表现。在这项调查中，我们审查了现有的文学，涵盖了上述与\ MLLMS有关的广泛研究领域。根据我们的调查，我们建议您有一些未来的研究方向。

在多语言甚至单语言中鉴定的模型的零拍跨语言能力刺激了许多假设，以解释这一有趣的经验结果。但是，由于预处理的成本，大多数研究都使用公共模型的公共模型，其预处理方法（例如代币化，语料库规模和计算预算的选择）可能会大不相同。当研究人员对自己的模型预识时，他们通常会在预算有限的情况下这样做，并且与SOTA模型相比，最终的模型的表现可能明显不足。这些实验差异导致有关这些模型跨语性能力的性质的各种不一致的结论。为了帮助对该主题进行进一步研究，我们发布了10个单语字节级模型，并在相同的配置下进行了严格审慎的概述，并具有大型计算预算（相当于V100的420天）和Corpora，比原始BERT大4倍。由于它们不含令牌，因此消除了看不见的令牌嵌入的问题，从而使研究人员可以在具有不同脚本的语言中尝试更广泛的跨语言实验。此外，我们释放了在不自然语言文本上预测的两个模型，这些模型可用于理智检查实验。关于质量检查和NLI任务的实验表明，我们的单语模型实现了多语言的竞争性能，因此可以加强我们对语言模型中跨语性可传递性的理解。

在计算和数据方面，大型语言模型的预培训通常需要大量资源。经常使用的Web源（例如Common Crawl）可能包含足够的噪声，以使这种预训练的亚地区。在这项工作中，我们尝试了西班牙语版本的MC4的不同采样方法，并提出了一种新颖的以数据为中心的技术，我们将其命名为$ \ textit {Perplexity sampling} $，该技术可实现大约一半的语言模型的预培训步骤并使用五分之一的数据。最终的模型与当前的最新机构相当，甚至可以为某些任务获得更好的结果。我们的工作证明了变形金刚的多功能性，并为小型团队以有限的预算培训模型铺平了道路。我们的型号可在此$ \ href {https://huggingface.co/bertin-project} {url} $中获得。

与标准命名实体识别（NER）相比，在历史文本中识别人，位置和组织是一个巨大的挑战。为了获得机器可读的语料库，通常需要扫描历史文本，并且需要执行光学特征识别（OCR）。结果，历史文献包含错误。此外，位置或组织等实体可以随着时间的推移而改变，这构成了另一个挑战。总体而言，历史文本带有几种特殊性，这些特殊性与现代文本有很大不同，并且在该领域几乎无法使用训练神经标记器的大型标记的Corpora。在这项工作中，我们通过培训大型历史语言模型来解决历史，英语，法语，瑞典语和芬兰语的历史文献。我们通过使用未标记的数据预处理语言模型来规避大量标记数据的需求。我们提出了Hmbert，这是一种历史多语言基于BERT的语言模型，并以多种不同大小的版本发布该模型。此外，我们通过解决下游NER作为今年HIPE-2022共享任务的一部分来评估HMBERT的能力，并提供详细的分析和见解。对于多种语言的经典评论粗粒ner挑战，我们的标记者Histeria的表现优于其他团队的三种语言中的其他团队的模型。

多语言预训练的语言模型在跨语言任务上表现出了令人印象深刻的表现。它极大地促进了自然语言处理在低资源语言上的应用。但是，当前的多语言模型仍然有些语言表现不佳。在本文中，我们提出了Cino（中国少数族裔训练的语言模型），这是一种用于中国少数语言的多语言预训练的语言模型。它涵盖了标准的中文，Yue中文和其他六种少数民族语言。为了评估多语言模型在少数族裔语言上的跨语性能力，我们从Wikipedia和新闻网站收集文档，并构建两个文本分类数据集，WCM（Wiki-Chinese-Minority）和CMNEWS（中国最少的新闻）。我们表明，Cino在各种分类任务上的表现明显优于基准。Cino模型和数据集可在http://cino.hfl-rc.com上公开获得。

特定于语言的预训练模型已被证明比单语说在单语法评估设置中更准确，阿拉伯语也不例外。但是，我们发现先前发布的阿拉伯伯特模型显着培训。在这本技术报告中，我们展示了Jaber，Junior Arabic Bert，我们的预用语言模型原型专用于阿拉伯语。我们进行实证研究，以系统地评估模型在各种现有阿拉伯语NLU任务中的性能。实验结果表明，Jaber实现了Alue的最先进的表演，这是阿拉伯语了解评估的新基准，以及成熟的内部基准

多语言预训练的语言模型（PLM）在高资源和低资源语言的下游任务上表现出令人印象深刻的表现。但是，在预培训期间，尤其是非洲语言中，看不见的语言仍然有很大的表现。适应新语言的最有效方法之一是\ textit {语言自适应微调}（LAFT） - 使用预训练目标对单语言的多语言PLM进行微调。但是，适应目标语言会单独使用大磁盘空间，并限制了由此产生的模型的跨语言转移能力，因为它们已经专门用于单语言。在本文中，我们对17种最重要的非洲语言和其他三种在非洲大陆上广泛使用的高资源语言对17种最具资源的非洲语言进行\ Textit {多语言自适应微调}，以鼓励跨语性转移学习。为了进一步专注于多语言PLM，我们从嵌入式层中删除了与MAFT之前的非非洲写作脚本相对应的词汇令牌，从而将模型大小降低了约50％。我们对两个多语言PLM（Afriberta和XLM-R）和三个NLP任务（NER，新闻主题分类和情感分类）的评估表明，我们的方法可以在单个语言上应用LAFT，同时需要较小的磁盘空间。此外，我们表明我们的适应性PLM还提高了参数有效微调方法的零击跨语性转移能力。

对于许多任务，基于变压器的体系结构已经实现了最新的结果，从而导致实践从使用特定于任务的架构到预先训练的语言模型的微调。持续的趋势包括具有越来越多的数据和参数的培训模型，这需要大量资源。它导致了强有力的搜索，以提高基于仅针对英语评估的算法和硬件改进的算法和硬件改进。这引发了有关其可用性的疑问，当应用于小规模的学习问题时，对于资源不足的语言任务，有限的培训数据可用。缺乏适当尺寸的语料库是应用数据驱动和转移学习的方法的障碍。在本文中，我们建立了致力于基于变压器模型的可用性的最新努力，并建议评估这些改进的法语表现，而法语的效果很少。我们通过通过数据增强，超参数优化和跨语性转移来调查各种培训策略来解决与数据稀缺有关的不稳定。我们还为法国弗拉伯特（Fralbert）引入了一种新的紧凑型模型，该模型在低资源环境中被证明具有竞争力。

编码单词语义属性的密集词向量或“Word Embeddings”现在已成为机器翻译（MT），问题应答（QA），字感消解（WSD）和信息检索（IR）中的NLP任务的积分。在本文中，我们使用各种现有方法为14个印度语言创建多个单词嵌入。我们将这些嵌入的嵌入式为所有这些语言，萨姆萨姆，孟加拉，古吉拉蒂，印地教派，kannada，konkani，malayalam，marathi，尼泊尔，odiya，punjabi，梵语，泰米尔和泰雅古士在一个单一的存储库中。相对较新的方法，强调迎合上下文（BERT，ELMO等），表明了显着的改进，但需要大量资源来产生可用模型。我们释放使用上下文和非上下文方法生成的预训练嵌入。我们还使用Muse和XLM来培训所有上述语言的交叉语言嵌入。为了展示我们嵌入的效果，我们为所有这些语言评估了我们对XPOS，UPOS和NER任务的嵌入模型。我们使用8种不同的方法释放了436个型号。我们希望他们对资源受限的印度语言NLP有用。本文的标题是指最初在1924年出版的福斯特的着名小说“一段是印度”。

BERT，ROBERTA或GPT-3等复杂的基于注意力的语言模型的外观已允许在许多场景中解决高度复杂的任务。但是，当应用于特定域时，这些模型会遇到相当大的困难。诸如Twitter之类的社交网络就是这种情况，Twitter是一种不断变化的信息流，以非正式和复杂的语言编写的信息流，鉴于人类的重要作用，每个信息都需要仔细评估，即使人类也需要理解。通过自然语言处理解决该领域的任务涉及严重的挑战。当将强大的最先进的多语言模型应用于这种情况下，特定语言的细微差别用来迷失翻译。为了面对这些挑战，我们提出了\ textbf {bertuit}，这是迄今为止针对西班牙语提出的较大变压器，使用Roberta Optimization进行了230m西班牙推文的大规模数据集进行了预培训。我们的动机是提供一个强大的资源，以更好地了解西班牙Twitter，并用于专注于该社交网络的应用程序，特别强调致力于解决该平台中错误信息传播的解决方案。对Bertuit进行了多个任务评估，并与M-Bert，XLM-Roberta和XLM-T进行了比较，该任务非常具有竞争性的多语言变压器。在这种情况下，使用应用程序显示了我们方法的实用性：一种可视化骗局和分析作者群体传播虚假信息的零击方法。错误的信息在英语以外的其他语言等平台上疯狂地传播，这意味着在英语说话之外转移时，变形金刚的性能可能会受到影响。

随着预培训的语言模型变得更加要求资源，因此资源丰富的语言（例如英语和资源筛选）语言之间的不平等正在恶化。这可以归因于以下事实：每种语言中的可用培训数据量都遵循幂律分布，并且大多数语言都属于分布的长尾巴。一些研究领域试图缓解这个问题。例如，在跨语言转移学习和多语言培训中，目标是通过从资源丰富的语言中获得的知识使长尾语言受益。尽管成功，但现有工作主要集中于尝试尽可能多的语言。结果，有针对性的深入分析主要不存在。在这项研究中，我们专注于单一的低资源语言，并使用跨语性培训（XPT）进行广泛的评估和探测实验。为了使转移方案具有挑战性，我们选择韩语作为目标语言，因为它是一种孤立的语言，因此与英语几乎没有类型的分类。结果表明，XPT不仅优于表现或与单语模型相当，该模型训练有大小的数据，而且在传输过程中也很高。

In this work, we present an evaluation of smaller BLOOM model variants (350m/560m and 1b3/1b7) on various natural language processing tasks. This includes GLUE - language understanding, prompt-based zero-shot and few-shot text classification and extraction, question answering, prompt-based text generation, and multi-lingual text classification to understand model strengths/weaknesses and behavior. Empirical results show that BLOOM variants under-perform on all GLUE tasks (except WNLI), question-answering, and text generation. The variants bloom for WNLI, with an accuracy of 56.3%, and for prompt-based few-shot text extraction on MIT Movies and ATIS datasets. The BLOOM variants on average have 7% greater accuracy over GPT-2 and GPT-Neo models on Director and Airline Name extraction from MIT Movies and ATIS datasets, respectively.

While large pre-trained models have transformed the field of natural language processing (NLP), the high training cost and low cross-lingual availability of such models prevent the new advances from being equally shared by users across all languages, especially the less spoken ones. To promote equal opportunities for all language speakers in NLP research and to reduce energy consumption for sustainability, this study proposes an effective and energy-efficient framework GreenPLM that uses bilingual lexicons to directly translate language models of one language into other languages at (almost) no additional cost. We validate this approach in 18 languages and show that this framework is comparable to, if not better than, other heuristics trained with high cost. In addition, when given a low computational cost (2.5\%), the framework outperforms the original monolingual language models in six out of seven tested languages. We release language models in 50 languages translated from English and the source code here.

在过去的五年中，基于自动变压器的体系结构的兴起导致了许多自然语言任务的最新表现。尽管这些方法越来越受欢迎，但它们需要大量的数据和计算资源。在数据范围的应用程序条件下，在资源不足的语言上，基准测试方法仍然非常需要对方法进行基准测试。大多数预训练的语言模型都使用英语进行了大规模研究，其中只有少数在法语上进行了评估。在本文中，我们提出了一个统一的基准测试，重点是评估模型质量及其对两个法语口语理解任务的生态影响。尤其是我们基于13个完善的基于变压器的模型基于法语的两个可用语言理解任务：媒体和ATIS-FR。在此框架内，我们表明紧凑的模型可以与较大的模型达到可比的结果，而生态影响却大大降低。但是，此假设是细微的，取决于考虑的压缩方法。

GPT-3等大型自回归语言模型是几秒钟的学习者，可以在没有微调的情况下执行各种语言任务。虽然已知这些模型能够共同代表许多不同的语言，但他们的培训数据由英语主导，可能限制了它们的交叉概括。在这项工作中，我们在覆盖多种语言的平衡语料库上培训多语言自回归语言模型，并在广泛的任务中研究他们几乎没有零点的学习能力。我们最大的模型，具有75亿参数，在20多种代表语言中，在几种代表语言中，在几种代表性语言中，在几种代表性语言中，在多语言型号推理中表现出可比大小的GPT-3（在0次设置和0次拍摄设置中的绝对精度改善+ 7.4％ 4-拍摄设置中的9.4％）和自然语言推理（每次拍摄和4次设置中的每一个+ 5.4％）。在Flores-101机器翻译基准测试中，我们的模型优于GPT-3在182个翻译方向上有32个培训例子，同时超过45个方向的官方监督基线。我们介绍了模型成功和失败的位置的详细分析，特别是它尤其显示在某些任务中实现交叉语境的内容学习，而仍然存在改善表面的鲁棒性和适应没有a的任务的余地自然冻结形式。最后，我们评估我们在仇恨语音检测中以五种语言的仇恨语音检测的模型，并发现它具有与可比大小的GPT-3模型类似的限制。