在本文中，我们介绍了Schemadb数据集;两个SQL和图形格式中的关系数据库模式的集合。由于隐私和安全的原因，数据库通常不会被公开共享，因此模式不可用于学习。因此，缺乏对野外数据库结构的理解，并且大多数被广泛的示例都属于共同的开发框架或来自教科书或发动机基准设计。SchemAdb包含在我们已标准化为MySQL语法的公共存储库中找到的2,500个样本。我们提供了我们的收集和转型方法，摘要统计和结构分析，并讨论了几个域中的潜在下游研究任务。

作为网络防御的重要工具，欺骗正在迅速发展，并补充了现有的周边安全措施，以迅速检测出漏洞和数据盗窃。限制欺骗使用的因素之一是手工生成逼真的人工制品的成本。但是，机器学习的最新进展为可扩展的，自动化的现实欺骗创造了机会。本愿景论文描述了开发模型所涉及的机会和挑战，以模仿IT堆栈的许多共同元素以造成欺骗效应。

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

药物发现和发展是一个复杂和昂贵的过程。正在研究机器学习方法，以帮助提高药物发现管道多个阶段的有效性和速度。其中，使用知识图表（kg）的那些在许多任务中具有承诺，包括药物修复，药物毒性预测和靶基因疾病优先级。在药物发现kg中，包括基因，疾病和药物在内的关键因素被认为是实体，而它们之间的关系表示相互作用。但是，为了构建高质量的KG，需要合适的数据。在这篇综述中，我们详细介绍了适用于构建聚焦KGS的药物发现的公开使用来源。我们的目标是帮助引导机器学习和kg从业者对吸毒者发现领域应用新技术，但是谁可能不熟悉相关的数据来源。通过严格的标准选择数据集，根据包含内部包含的主要信息类型，并基于可以提取的信息来进行分类以构建kg。然后，我们对现有的公共药物发现KGS进行了比较分析，并评估了文献中所选择的激励案例研究。此外，我们还提出了众多和与域及其数据集相关的众多挑战和问题，同时突出了关键的未来研究方向。我们希望本综述将激励KGS在药物发现领域的关键和新兴问题中使用。

培训和评估语言模型越来越多地要求构建元数据 - 多样化的策划数据收集，并具有清晰的出处。自然语言提示最近通过将现有的，有监督的数据集转换为多种新颖的预处理任务，突出了元数据策划的好处，从而改善了零击的概括。尽管将这些以数据为中心的方法转化为生物医学语言建模的通用域文本成功，但由于标记的生物医学数据集在流行的数据中心中的代表性大大不足，因此仍然具有挑战性。为了应对这一挑战，我们介绍了BigBio一个由126个以上的生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。 BigBio通过对数据集及其元数据进行程序化访问来促进可再现的元数据策划，并与当前的平台兼容，以及时工程和端到端的几个/零射击语言模型评估。我们讨论了我们的任务架构协调，数据审核，贡献指南的过程，并概述了两个说明性用例：生物医学提示和大规模，多任务学习的零射门评估。 BigBio是一项持续的社区努力，可在https://github.com/bigscience-workshop/biomedical上获得。

上下文：大数据的有效处理是SQL和NOSQL数据库的一项具有挑战性的任务，在这种数据库中，有效的软件体系结构起着至关重要的作用。 SQL数据库设计用于构建数据和支持垂直可扩展性。相反，水平可伸缩性由NOSQL数据库支持，并且可以有效地处理较大的非结构化数据。可以根据组织的需求选择正确的范式；但是，做出正确的选择通常可能具有挑战性。 SQL和NOSQL数据库遵循不同的体系结构。同样，混合模型之后是NOSQL数据库的每个类别。因此，对于多个云服务提供商（CSP）的云消费者来说，数据移动变得困难。此外，每个云平台IAAS，PAAS，SaaS和DBAAS还监视各种范式。目的：该系统文献综述（SLR）旨在研究与SQL和NOSQL数据库软件体系结构相关的相关文章，并解决各种云平台之间的数据可移植性和互操作性。最新的状态通过观察缩放，性能，可用性，一致性和分片特性，介绍了SQL和NOSQL数据库的许多性能比较研究。根据研究研究，NOSQL数据库设计的结构可以是大数据分析的正确选择，而SQL数据库适合OLTP数据库。研究人员提出了许多与云中数据流动相关的方法。开发了基于平台的API，这使用户的数据移动变得困难。因此，在跨多个CSP的数据移动期间发现了数据可移植性和互操作性问题。为了最大程度地减少开发人员的努力和互操作性，要求统一的API使数据移动在各种云平台之间相对易于访问。

Intelligently extracting and linking complex scientific information from unstructured text is a challenging endeavor particularly for those inexperienced with natural language processing. Here, we present a simple sequence-to-sequence approach to joint named entity recognition and relation extraction for complex hierarchical information in scientific text. The approach leverages a pre-trained large language model (LLM), GPT-3, that is fine-tuned on approximately 500 pairs of prompts (inputs) and completions (outputs). Information is extracted either from single sentences or across sentences in abstracts/passages, and the output can be returned as simple English sentences or a more structured format, such as a list of JSON objects. We demonstrate that LLMs trained in this way are capable of accurately extracting useful records of complex scientific knowledge for three representative tasks in materials chemistry: linking dopants with their host materials, cataloging metal-organic frameworks, and general chemistry/phase/morphology/application information extraction. This approach represents a simple, accessible, and highly-flexible route to obtaining large databases of structured knowledge extracted from unstructured text. An online demo is available at http://www.matscholar.com/info-extraction.

We present Spider, a large-scale, complex and cross-domain semantic parsing and textto-SQL dataset annotated by 11 college students. It consists of 10,181 questions and 5,693 unique complex SQL queries on 200 databases with multiple tables, covering 138 different domains. We define a new complex and cross-domain semantic parsing and textto-SQL task where different complex SQL queries and databases appear in train and test sets. In this way, the task requires the model to generalize well to both new SQL queries and new database schemas. Spider is distinct from most of the previous semantic parsing tasks because they all use a single database and the exact same programs in the train set and the test set. We experiment with various state-of-the-art models and the best model achieves only 12.4% exact matching accuracy on a database split setting. This shows that Spider presents a strong challenge for future research. Our dataset and task are publicly available at https://yale-lily. github.io/spider.

System auditing has emerged as a key approach for monitoring system call events and investigating sophisticated attacks. Based on the collected audit logs, research has proposed to search for attack patterns or track the causal dependencies of system events to reveal the attack sequence. However, existing approaches either cannot reveal long-range attack sequences or suffer from the dependency explosion problem due to a lack of focus on attack-relevant parts, and thus are insufficient for investigating complex attacks. To bridge the gap, we propose Zebra, a system that synergistically integrates attack pattern search and causal dependency tracking for efficient attack investigation. With Zebra, security analysts can alternate between search and tracking to reveal the entire attack sequence in a progressive, user-guided manner, while mitigating the dependency explosion problem by prioritizing the attack-relevant parts. To enable this, Zebra provides (1) an expressive and concise domain-specific language, Tstl, for performing various types of search and tracking analyses, and (2) an optimized language execution engine for efficient execution over a big amount of auditing data. Evaluations on a broad set of attack cases demonstrate the effectiveness of Zebra in facilitating a timely attack investigation.

科学家在寻找最佳的输入资源来解决目标预测任务的最佳输入资源方面的困难是在知识图图图上训练算法的主要障碍之一。除此之外，一个关键的挑战是确定如何操纵（和嵌入）这些数据，这些数据通常以特定的三元组（即主题，谓词，对象）的形式来启用学习过程。在本文中，我们描述了Liveschema倡议，即一个门户，该网关提供了一个服务家庭，可以轻松访问，分析，转换和利用知识图模式，其主要目标是促进这些资源在机器学习用例中的重复使用。作为该计划的早期实施，我们还推进了一个在线目录，该目录依赖于800多个资源，并提供了第一组示例服务。

网络科学和技术的快速发展取决于可共享的数据集。当前，没有用于报告和共享网络数据集的标准实践。一些网络数据集提供商仅共享链接，而另一些网络数据集提供商提供了一些上下文或基本统计信息。结果，关键信息可能无意间删除，网络数据集消费者可能会误解或忽略关键方面。使用网络数据集不适当地导致严重的后果（例如，歧视），尤其是当将网络上的机器学习模型部署在高维护域中时。挑战出现，因为网络通常在不同的领域（例如网络科学，物理等）上使用并具有复杂的结构。为了促进网络数据集提供商和消费者之间的通信，我们提出了网络报告。网络报告是一个结构化的描述，总结和上下文化网络数据集。网络报告从先前的工作中扩展了数据集报告（例如，数据集的数据表）的想法，其中包含非i.i.d的网络特定说明。自然，人口统计信息，网络特征等。我们希望网络报告鼓励不同领域的网络研发透明度和问责制。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

许多数据分析任务在很大程度上依赖对表的深入了解（多维数据）。在整个任务中，都存在表字段 /列的共同使用的元数据属性。在本文中，我们确定了四个这样的分析元数据：测量/维度二分法，公共场作用，语义场类型和默认聚集函数。尽管这些元数据面临不足的监督信号的挑战，利用现有的知识和理解分布。为了将这些元数据推理为原始表，我们提出了多任务元数据模型，该模型将现场分布和知识图信息融合到预训练的表格模型中。对于模型培训和评估，我们通过使用下游任务的各种智能监督来收集分析元数据的大型语料库（来自私人电子表格和公共表格数据集的〜582K表）。我们的最佳模型的精度= 98％，命中率在TOP-1> 67％，精度> 80％和四个分析元数据推理任务的精度= 88％。它的表现优于基于规则，传统机器学习方法和预训练的表格模型的一系列基线。分析元数据模型被部署在流行的数据分析产品中，帮助下游智能功能，例如Insights挖掘，图表 /枢轴表建议和自然语言QA ...

我们介绍了高音，这是一个从莎士比亚戏剧中得出的不同关系数据表示的数据集。我们的表示范围从单个场景中捕获字符共发生的简单图表到编码复杂通信设置和角色贡献的超图像具有边缘特异性节点权重的超匹配。通过使多个直观表示形式容易可用于实验，我们便促进了严格的表示图，图形挖掘和网络分析中的稳健性检查，突出了特定表示的优势和缺点。利用高音释放的数据，我们证明了许多流行图挖掘问题的解决方案高度依赖表示的选择，从而使当前的图形策划实践提出了质疑。作为对我们的数据源的敬意，并断言科学也可以是艺术，我们以戏剧的形式介绍了所有观点。

根据诸如医疗条件，程序和药物使用之类的资格标准，识别患者队列对于临床试验的招募至关重要。这种标准通常是在自由文本中最自然地描述的，使用临床医生和研究人员熟悉的语言。为了大规模识别潜在参与者，必须首先将这些标准转换为临床数据库的查询，这可能是劳动密集型且容易出错的。自然语言处理（NLP）方法提供了一种可能自动转换为数据库查询的潜在手段。但是，必须首先使用Corpora对其进行培训和评估，该语料库详细列出临床试验标准。在本文中，我们介绍了叶片临床试验（LCT）语料库，该语料库是一种使用高度颗粒状结构化标签，捕获一系列生物医学现象的人类向超过1000个临床试验资格标准描述。我们提供了我们的模式，注释过程，语料库质量和统计数据的详细信息。此外，我们提出了该语料库的基线信息提取结果，作为未来工作的基准。

从原始数据输入中学习，因此限制了功能工程的需求，是机器学习方法在各个域中的许多成功应用的组成部分。尽管许多问题自然地转化为直接在标准分类器中使用的矢量表示形式，但许多数据源具有结构化数据互换格式的自然形式（例如，以JSON/XML格式使用的安全日志）。现有方法，例如在层次多实例学习（HMIL）中，允许以原始形式从此类数据中学习。但是，对原始结构化数据培训的分类器的解释仍然在很大程度上尚未探索。通过将这些模型视为子集选择问题，我们证明了如何使用计算有效算法来生成具有优惠属性的可解释解释。我们与图形神经网络采用的解释技术进行比较，该技术显示了速度加速和更高质量的解释的顺序。

通过分析大量数据来提供决策支持，大数据正在改革许多工业域。大数据测试旨在确保大数据系统在维护数据的性能和质量时运行平稳且无错误。但是，由于数据的多样性和复杂性，测试大数据具有挑战性。虽然众多研究对大数据测试进行了综合审查，但解决了测试技术和挑战的综合性尚未混淆。因此，我们对大数据测试技术（2010年 - 2021年）进行了系统审查。本文通过突出显示每个处理阶段的技术来讨论测试数据的处理。此外，我们讨论了挑战和未来的方向。我们的发现表明，已经使用不同的功能，非功能性和组合（功能和非功能性）测试技术来解决与大数据相关的特定问题。同时，在MapReduce验证阶段，大多数测试挑战都面临。此外，组合测试技术是与其他技术相结合的应用技术之一（即随机测试，突变测试，输入空间分区和等价测试），以解决在大数据测试期间面临的各种功能故障挑战。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。