Raredis Corpus含有超过5,000个罕见疾病，近6,000个临床表现都是注释。此外，跨候注释协议评估表明，相对高的协议（F1措施等于实体的完全匹配标准，与关系的81.3％等于83.5％）。基于这些结果，该毒品具有高质量，假设该领域的重要步骤由于稀缺具有稀有疾病的可用语料库。这可以将门打开到进一步的NLP应用，这将促进这些罕见疾病的诊断和治疗，因此将大大提高这些患者的生活质量。

根据诸如医疗条件，程序和药物使用之类的资格标准，识别患者队列对于临床试验的招募至关重要。这种标准通常是在自由文本中最自然地描述的，使用临床医生和研究人员熟悉的语言。为了大规模识别潜在参与者，必须首先将这些标准转换为临床数据库的查询，这可能是劳动密集型且容易出错的。自然语言处理（NLP）方法提供了一种可能自动转换为数据库查询的潜在手段。但是，必须首先使用Corpora对其进行培训和评估，该语料库详细列出临床试验标准。在本文中，我们介绍了叶片临床试验（LCT）语料库，该语料库是一种使用高度颗粒状结构化标签，捕获一系列生物医学现象的人类向超过1000个临床试验资格标准描述。我们提供了我们的模式，注释过程，语料库质量和统计数据的详细信息。此外，我们提出了该语料库的基线信息提取结果，作为未来工作的基准。

虽然罕见疾病的特征在于患病率低，但大约3亿人受到罕见疾病的影响。对这些条件的早期和准确诊断是一般从业者的主要挑战，没有足够的知识来识别它们。除此之外，罕见疾病通常会显示各种表现形式，这可能会使诊断更加困难。延迟的诊断可能会对患者的生命产生负面影响。因此，迫切需要增加关于稀有疾病的科学和医学知识。自然语言处理（NLP）和深度学习可以帮助提取有关罕见疾病的相关信息，以促进其诊断和治疗。本文探讨了几种深度学习技术，例如双向长期内存（BILSTM）网络或基于来自变压器（BERT）的双向编码器表示的深层语境化词表示，以识别罕见疾病及其临床表现（症状和症状） Raredis语料库。该毒品含有超过5,000名罕见疾病和近6,000个临床表现。 Biobert，基于BERT和培训的生物医学Corpora培训的域特定语言表示，获得了最佳结果。特别是，该模型获得罕见疾病的F1分数为85.2％，表现优于所有其他模型。

我们提出了一种新颖的基准和相关的评估指标，用于评估文本匿名方法的性能。文本匿名化定义为编辑文本文档以防止个人信息披露的任务，目前遭受了面向隐私的带注释的文本资源的短缺，因此难以正确评估各种匿名方法提供的隐私保护水平。本文介绍了标签（文本匿名基准），这是一种新的开源注释语料库，以解决此短缺。该语料库包括欧洲人权法院（ECHR）的1,268个英语法院案件，并充满了有关每个文档中出现的个人信息的全面注释，包括其语义类别，标识符类型，机密属性和共同参考关系。与以前的工作相比，TAB语料库旨在超越传统的识别（仅限于检测预定义的语义类别），并且明确标记了这些文本跨越的标记，这些文本应该被掩盖，以掩盖该人的身份受到保护。除了介绍语料库及其注释层外，我们还提出了一套评估指标，这些指标是针对衡量文本匿名性的性能而定制的，无论是在隐私保护和公用事业保护方面。我们通过评估几个基线文本匿名模型的经验性能来说明基准和提议的指标的使用。完整的语料库及其面向隐私的注释准则，评估脚本和基线模型可在以下网址提供：

生物医学文献中的自动关系提取（RE）对于研究和现实世界中的许多下游文本挖掘应用至关重要。但是，用于生物医学的大多数现有基准测试数据集仅关注句子级别的单一类型（例如蛋白质 - 蛋白质相互作用）的关系，从而极大地限制了生物医学中RE系统的开发。在这项工作中，我们首先审查了常用的名称实体识别（NER）和RE数据集。然后，我们提出了Biored，这是一种具有多种实体类型（例如，基因/蛋白质，疾病，化学）和关系对（例如，基因 - 疾病；化学化学化学化学）的首个生物医学RE语料库，在文档水平上，在一组600个PubMed摘要中。此外，我们将每个关系标记为描述一种新颖的发现或先前已知的背景知识，使自动化算法能够区分新颖和背景信息。我们通过基准在NER和RE任务上对几种现有的最新方法（包括基于BERT的模型）进行基准测试来评估Biored的实用性。我们的结果表明，尽管现有方法可以在NER任务上达到高性能（F-评分为89.3％），但重新任务的改进空间很大，尤其是在提取新颖的关系时（F-评分为47.7％）。我们的实验还表明，如此丰富的数据集可以成功地促进生物医学更准确，高效和健壮的RE系统的开发。 Biored数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/biored/中免费获得。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

循证医学，医疗保健专业人员在做出决定时提到最佳证据的实践，形成现代医疗保健的基础。但是，它依赖于劳动密集型系统评论，其中域名专家必须从数千个出版物中汇总和提取信息，主要是随机对照试验（RCT）结果转化为证据表。本文通过对两个语言处理任务分解的问题来调查自动化证据表生成：\ texit {命名实体识别}，它标识文本中的关键实体，例如药物名称，以及\ texit {关系提取}，它会映射它们的关系将它们分成有序元组。我们专注于发布的RCT摘要的句子的自动制表，报告研究结果的结果。使用转移学习和基于变压器的语言表示的原则，开发了两个深度神经网络模型作为联合提取管道的一部分。为了培训和测试这些模型，开发了一种新的金标语，包括来自六种疾病区域的近600个结果句。这种方法表现出显着的优势，我们的系统在多种自然语言处理任务和疾病区域中表现良好，以及在训练期间不均匀地展示疾病域。此外，我们显示这些结果可以通过培训我们的模型仅在200个例句中培训。最终系统是一个概念证明，即证明表的产生可以是半自动的，代表全自动系统评论的一步。

我们提出了带有核心注释的新语料库，俄罗斯核心语料库（Rucoco）。Rucoco的目的是获得大量注释的文本，同时保持高通道一致性。鲁科科（Rucoco）包含俄语的新闻文本，其中一部分是从头开始注释的，其余的机器生成的注释是由人类注释者完善的。我们的语料库的大小是一百万个单词，约有15万个提及。我们使语料库公开可用。

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

网络威胁智能（CTI）是描述威胁媒介，漏洞和攻击的信息，通常用作基于AI的网络防御系统（例如网络安全知识图（CKG））的培训数据。非常需要开发可访问社区的数据集来培训现有的基于AI的网络安全管道，以有效，准确地从CTI中提取有意义的见解。我们已经从各种开放源中创建了一个初始的非结构化CTI语料库，我们使用SPACY框架并探索自学习方法来自动识别网络安全实体，用于训练和测试网络安全实体模型。我们还描述了应用网络安全域实体与Wikidata现有世界知识联系起来的方法。我们未来的工作将调查和测试Spacy NLP工具，并创建方法，以连续整合从文本中提取的新信息。

在科学研究中，该方法是解决科学问题和关键研究对象的必不可少手段。随着科学的发展，正在提出，修改和使用许多科学方法。作者在抽象和身体文本中描述了该方法的详细信息，并且反映该方法名称的学术文献中的关键实体称为方法实体。在大量的学术文献中探索各种方法实体有助于学者了解现有方法，为研究任务选择适当的方法并提出新方法。此外，方法实体的演变可以揭示纪律的发展并促进知识发现。因此，本文对方法论和经验作品进行了系统的综述，重点是从全文学术文献中提取方法实体，并努力使用这些提取的方法实体来建立知识服务。首先提出了本综述涉及的关键概念的定义。基于这些定义，我们系统地审查了提取和评估方法实体的方法和指标，重点是每种方法的利弊。我们还调查了如何使用提取的方法实体来构建新应用程序。最后，讨论了现有作品的限制以及潜在的下一步。

To effectively train accurate Relation Extraction models, sufficient and properly labeled data is required. Adequately labeled data is difficult to obtain and annotating such data is a tricky undertaking. Previous works have shown that either accuracy has to be sacrificed or the task is extremely time-consuming, if done accurately. We are proposing an approach in order to produce high-quality datasets for the task of Relation Extraction quickly. Neural models, trained to do Relation Extraction on the created datasets, achieve very good results and generalize well to other datasets. In our study, we were able to annotate 10,022 sentences for 19 relations in a reasonable amount of time, and trained a commonly used baseline model for each relation.

Objective: We aim to develop an open-source natural language processing (NLP) package, SODA (i.e., SOcial DeterminAnts), with pre-trained transformer models to extract social determinants of health (SDoH) for cancer patients, examine the generalizability of SODA to a new disease domain (i.e., opioid use), and evaluate the extraction rate of SDoH using cancer populations. Methods: We identified SDoH categories and attributes and developed an SDoH corpus using clinical notes from a general cancer cohort. We compared four transformer-based NLP models to extract SDoH, examined the generalizability of NLP models to a cohort of patients prescribed with opioids, and explored customization strategies to improve performance. We applied the best NLP model to extract 19 categories of SDoH from the breast (n=7,971), lung (n=11,804), and colorectal cancer (n=6,240) cohorts. Results and Conclusion: We developed a corpus of 629 cancer patients notes with annotations of 13,193 SDoH concepts/attributes from 19 categories of SDoH. The Bidirectional Encoder Representations from Transformers (BERT) model achieved the best strict/lenient F1 scores of 0.9216 and 0.9441 for SDoH concept extraction, 0.9617 and 0.9626 for linking attributes to SDoH concepts. Fine-tuning the NLP models using new annotations from opioid use patients improved the strict/lenient F1 scores from 0.8172/0.8502 to 0.8312/0.8679. The extraction rates among 19 categories of SDoH varied greatly, where 10 SDoH could be extracted from >70% of cancer patients, but 9 SDoH had a low extraction rate (<70% of cancer patients). The SODA package with pre-trained transformer models is publicly available at https://github.com/uf-hobiinformatics-lab/SDoH_SODA.

由于结构化数据通常不足，因此在开发用于临床信息检索和决策支持系统模型时，需要从电子健康记录中的自由文本中提取标签。临床文本中最重要的上下文特性之一是否定，这表明没有发现。我们旨在通过比较荷兰临床注释中的三种否定检测方法来改善标签的大规模提取。我们使用Erasmus医疗中心荷兰临床语料库比较了基于ContextD的基于规则的方法，即使用MEDCAT和（Fineted）基于Roberta的模型的BilstM模型。我们发现，Bilstm和Roberta模型都在F1得分，精度和召回方面始终优于基于规则的模型。此外，我们将每个模型的分类错误系统地分类，这些错误可用于进一步改善特定应用程序的模型性能。在性能方面，将三个模型结合起来并不有益。我们得出的结论是，尤其是基于Bilstm和Roberta的模型在检测临床否定方面非常准确，但是最终，根据手头的用例，这三种方法最终都可以可行。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

生物医学研究正在以这种指数速度增长，科学家，研究人员和从业者不再能够应对该领域发表的文献的数量。文献中提出的知识需要以这种方式系统化，可以轻松找到声明和假设，访问和验证。知识图可以为文献提供这样的语义知识表示框架。然而，为了构建知识图形，有必要以生物医学实体之间的关系形式提取知识并使两个实体和关系类型进行正常化。在本文中，我们展示并比较了少数基于规则和基于机器学习的（天真的贝叶斯，随机森林作为传统机器学习方法和T5基础的示例，作为现代深层学习的示例）可扩展关系从生物医学中提取的方法集成到知识图中的文献。我们研究了如何为不平衡和相当小的数据集进行弹性，显示T5模型，由于其在大型C4数据集以及不平衡数据上进行预培训，因此T5模型处理得好的小型数据集。最佳执行模型是T5模型在平衡数据上进行微调，报告F1分数为0.88。

我们展示了哈萨克克坦命名实体识别的数据集的开发。该数据集是在哈萨克公开可用的注释Corpora的情况下建立的，以及包含简单但严谨的规则和示例的注释指南。基于IOB2计划的数据集注释是在第一个作者的监督下由两个本土哈萨克演讲者进行电视新闻文本。生成的数据集包含112,702个句子和25个实体类的136,333注释。最先进的机器学习模型自动化哈萨克人命名实体识别，具有最佳性能模型，在测试集上实现了97.22％的精确匹配。用于培训模型的注释数据集，指南和代码可从HTTPS://github.com/kaznerd自由下载4.0许可。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

Intelligently extracting and linking complex scientific information from unstructured text is a challenging endeavor particularly for those inexperienced with natural language processing. Here, we present a simple sequence-to-sequence approach to joint named entity recognition and relation extraction for complex hierarchical information in scientific text. The approach leverages a pre-trained large language model (LLM), GPT-3, that is fine-tuned on approximately 500 pairs of prompts (inputs) and completions (outputs). Information is extracted either from single sentences or across sentences in abstracts/passages, and the output can be returned as simple English sentences or a more structured format, such as a list of JSON objects. We demonstrate that LLMs trained in this way are capable of accurately extracting useful records of complex scientific knowledge for three representative tasks in materials chemistry: linking dopants with their host materials, cataloging metal-organic frameworks, and general chemistry/phase/morphology/application information extraction. This approach represents a simple, accessible, and highly-flexible route to obtaining large databases of structured knowledge extracted from unstructured text. An online demo is available at http://www.matscholar.com/info-extraction.

关于比较治疗效果的最佳证据来自临床试验，其结果在非结构化的文章中据报道。医疗专家必须手动提取文章中的信息以告知决策，这是耗时和昂贵的。在这里，我们考虑（a）从描述临床试验（实体识别）的全文物品中提取治疗和结果的端到端任务，（b）推断前者的报告结果（关系萃取）。我们为此任务介绍了新数据，并评估最近在自然语言处理中获得类似任务的最先进结果的模型。然后，我们提出了一种新的方法，激励了通常介绍了如何呈现这些纯粹数据驱动的基线的试验结果。最后，我们对该模型进行了一定的评估，并具有非营利性寻求鉴定可能重新用癌症的现有药物，显示出端到端证据提取系统的潜在效用。