Computational catalysis is playing an increasingly significant role in the design of catalysts across a wide range of applications. A common task for many computational methods is the need to accurately compute the minimum binding energy - the adsorption energy - for an adsorbate and a catalyst surface of interest. Traditionally, the identification of low energy adsorbate-surface configurations relies on heuristic methods and researcher intuition. As the desire to perform high-throughput screening increases, it becomes challenging to use heuristics and intuition alone. In this paper, we demonstrate machine learning potentials can be leveraged to identify low energy adsorbate-surface configurations more accurately and efficiently. Our algorithm provides a spectrum of trade-offs between accuracy and efficiency, with one balanced option finding the lowest energy configuration, within a 0.1 eV threshold, 86.63% of the time, while achieving a 1387x speedup in computation. To standardize benchmarking, we introduce the Open Catalyst Dense dataset containing nearly 1,000 diverse surfaces and 87,045 unique configurations.
translated by 谷歌翻译
接受高等教育对于少数族裔和新兴双语学生至关重要。但是，高等教育机构用来与准学生交流的语言通常太复杂了。具体而言，美国的许多机构发布录取申请指令远远高于典型高中毕业生的平均阅读水平，通常接近13年级或14年级。这导致学生之间不必要的障碍和获得高等教育。这项工作旨在通过简化文本来应对这一挑战。我们介绍PSAT（专业简化的录取文本），这是一个数据集，其中有112条从美国的高等教育机构中随机选择的录取说明。然后，这些文本将被专业地简化，并被各个机构招生办公室的专职员工专家进行了验证和接受。此外，PSAT带有1,883个原始简化句子对的手动对齐。结果是在与现有简化资源不同的高风险流派中评估和微调文本简化系统的首个语料库。
translated by 谷歌翻译
人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。
translated by 谷歌翻译
建模原子系统的能量和力是计算化学中的一个基本问题，有可能帮助解决世界上许多最紧迫的问题，包括与能源稀缺和气候变化有关的问题。这些计算传统上是使用密度函数理论进行的，这在计算上非常昂贵。机器学习有可能从天数或小时到秒从天数大幅提高这些计算的效率。我们建议球形通道网络（SCN）对原子能量和力进行建模。 SCN是一个图神经网络，节点代表原子并边缘其相邻原子。原子嵌入是使用球形谐波表示的一组球形函数，称为球形通道。我们证明，通过基于3D边缘方向旋转嵌入式，可以在保持消息的旋转模糊性的同时使用更多信息。虽然均衡性是理想的属性，但我们发现，通过在消息传递和聚合中放松这种约束，可以提高准确性。我们在大规模开放催化剂2020数据集中展示了最新的结果，这些数据集在能源和力量预测中，用于许多任务和指标。
translated by 谷歌翻译
计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
机器学习方法有可能以计算有效的方式近似于原子模拟的密度功能理论（DFT），这可能会大大增加计算模拟对现实世界问题的影响。但是，它们受到其准确性和生成标记数据的成本的限制。在这里，我们提出了一个在线主动学习框架，该框架通过合并了开放催化剂项目的大规模预训练的图形神经网络模型，通过合并了先前的物理信息，从而有效，准确地加速了原子系统的模拟。加速这些模拟使有用的数据更便宜地生成，从而可以训练更好的模型，并可以筛选更多的原子系统。我们还提出了一种基于其速度和准确性比较局部优化技术的方法。 30基准测试吸附剂催化剂系统的实验表明，我们的转移学习方法以预先训练模型合并先前的信息通过将DFT计算的数量减少91％，从而加速模拟，同时达到0.02 EV的准确性阈值93％。 。最后，我们展示了一种技术，用于利用VAS中内置的交互式功能，以在我们的在线活动框架内有效地计算单点计算，而无需大量启动成本。这使VASP与我们的框架同时起作用，同时需要比常规的单点计算要少75％。在GitHub的开源Finetuna软件包中可用在线主动学习实现以及使用VASP交互式代码的示例。
translated by 谷歌翻译
近年来，分子模拟数据集的出现是大数量级，更多样化的阶。这些新数据集在复杂性的四个方面有很大差异：1。化学多样性（不同元素的数量），2。系统大小（每个样品原子数），3。数据集大小（数据样本数）和4.域移动（培训和测试集的相似性）。尽管存在这些较大的差异，但在狭窄和狭窄的数据集上的基准仍然是证明分子模拟的图形神经网络（GNN）进展的主要方法，这可能是由于较便宜的训练计算要求所致。这就提出了一个问题 - GNN在小和狭窄的数据集上的进展是否转化为这些更复杂的数据集？这项工作通过首先根据大型开放催化剂2020（OC20）数据集开发Gemnet-OC模型来研究这个问题。 Gemnet-OC的表现优于OC20上的先前最新ART，同时将训练时间减少10倍。然后，我们比较了18个模型组件和超参数选择对多个数据集的性能的影响。我们发现，根据用于做出模型选择的数据集，所得模型将大不相同。为了隔离这种差异的来源，我们研究了OC20数据集的六个子集，这些子集分别测试了上述四个数据集方面的每个数据集。我们发现，OC-2M子集的结果与完整的OC20数据集良好相关，同时训练得更便宜。我们的发现挑战了仅在小型数据集上开发GNN的常见做法，但突出了通过中等尺寸的代表性数据集（例如OC-2M）以及Gemnet-oc等高效模型来实现快速开发周期和可推广结果的方法。我们的代码和预估计的模型权重是开源的。
translated by 谷歌翻译
TRISTRUCCUCTIONATIOPIC（TRISO）涂层颗粒燃料是强大的核燃料，并确定其可靠性对于先进的核技术的成功至关重要。然而，Triso失效概率很小，相关的计算模型很昂贵。我们使用耦合的主动学习，多尺度建模和子集模拟来估计使用几个1D和2D模型的Triso燃料的故障概率。通过多尺度建模，我们用来自两个低保真（LF）模型的信息融合，取代了昂贵的高保真（HF）模型评估。对于1D TRISO模型，我们考虑了三种多倍性建模策略：仅克里格，Kriging LF预测加克里格校正，深神经网络（DNN）LF预测加克里格校正。虽然这些多尺度建模策略的结果令人满意地比较了从两个LF模型中使用信息融合的策略，但是通常常常称为HF模型。接下来，对于2D Triso模型，我们考虑了两个多倍性建模策略：DNN LF预测加克里格校正（数据驱动）和1D Triso LF预测加克里格校正（基于物理学）。正如所预期的那样，基于物理的策略一直需要对HF模型的最少的呼叫。然而，由于DNN预测是瞬时的，数据驱动的策略具有较低的整体模拟时间，并且1D Triso模型需要不可忽略的模拟时间。
translated by 谷歌翻译
在尝试“解释”机器学习模型的预测中，研究人员提出了数百种技术，以归因于认为重要的功能的预测。虽然这些归属常常被声称持有改善人类“了解”模型的潜力，但令人惊讶地小的工作明确评估了对这种愿望的进步。在本文中，我们进行了一个众群研究，参与者与欺骗检测模型进行互动，以区分真实和假酒店评论。他们受到模拟新鲜评论模型的挑战，并以降低最初预测的类的概率的目标。成功的操纵将导致对抗性示例。在培训（但不是测试）阶段，突出显示输入跨度以传达Parience。通过我们的评估，我们观察到，对于线性袋式模型，与无解释控制相比，可以在训练期间访问特征系数的参与者能够在测试阶段中更大减少模型置信度。对于基于BERT的分类器，流行的本地解释不会提高它们在无法解释案例上降低模型信心的能力。值得注意的是，当由培训的线性模型的（全局）归属的（全局）归属给出的解释以模仿BERT模型，人们可以有效地操纵模型。
translated by 谷歌翻译