Use of graphs to represent molecular crystals has become popular in recent years as they provide a natural translation from atoms and bonds to nodes and edges. Graphs capture structure, while remaining invariant to the symmetries that crystals display. Several works in property prediction, including those with state-of-the-art results, make use of the Crystal Graph. The present work offers a graph based on Point-wise Distance Distributions which retains symmetrical invariance, decreases computational load, and yields similar or better prediction accuracy on both experimental and simulated crystals.

我们考虑在编码晶体材料的周期图上的表示形式学习。与常规图不同，周期图由最小单位单元组成，该单元在3D空间中的常规晶格上重复出现。如何有效编码这些周期结构会带来常规图表学习中不存在的独特挑战。除了E（3）不变外，周期性的图表表示还需要定期不变。也就是说，学到的表示形式应该不变，因为它们是人为强加的。此外，需要明确捕获周期性重复模式，因为不同尺寸和方向的晶格可能对应于不同的材料。在这项工作中，我们提出了一个变压器体系结构，称为Matformer，以进行周期性图表学习。我们的拟合器设计为周期性不变，可以明确捕获重复模式。特别是，Matformer通过有效使用相邻细胞中相同原子之间的几何距离来编码周期模式。多个通用基准数据集的实验结果表明，我们的配合器的表现始终超过基线方法。此外，我们的结果证明了定期不变性和对晶体表示学习的明确重复模式编码的重要性。

新催化剂的发现是计算化学的重要主题之一，因为它有可能加速采用可再生能源。最近开发的深度学习方法，例如图形神经网络（GNNS）开放的新机会，以显着扩大新型高性能催化剂的范围。然而，由于模棱两可的连接方案和节点和边缘的众多嵌入，特定晶体结构的图表并不是一项简单的任务。在这里，我们提出了GNN的嵌入改进，该改进已通过Voronoi Tesselation修改，并能够预测开放催化剂项目数据集中催化系统的能量。通过Voronoi镶嵌计算图的富集，并将相应的触点固体角度和类型（直接或间接）视为边缘的特征，而Voronoi体积用作节点特征。辅助方法是通过内在的原子特性（电负性，周期和组位置）富集节点表示。提出的修改使我们能够改善原始模型的平均绝对误差，最终误差等于“开放催化剂项目数据集”上每个原子的651 MeV，并且在金属中数据集上的每个原子6 MeV。同样，通过考虑其他数据集，我们表明，明智的数据选择可以将误差降低到高于每个原子阈值20 MEV的值的值。

偶极矩是一个物理量，指示分子的极性，并通过反映成分原子的电性能和分子的几何特性来确定。大多数用于表示传统图神经网络方法中图表表示的嵌入方式将分子视为拓扑图，从而为识别几何信息的目标造成了重大障碍。与现有的嵌入涉及均值的嵌入不同，该嵌入适当地处理分子的3D结构不同，我们的拟议嵌入直接表达了偶极矩局部贡献的物理意义。我们表明，即使对于具有扩展几何形状的分子并捕获更多的原子相互作用信息，开发的模型甚至可以合理地工作，从而显着改善了预测结果，准确性与AB-Initio计算相当。

精确预测物理性质对于发现和设计新材料至关重要。机器学习技术引起了材料科学界的重大关注，以实现大规模筛选的潜力。图表卷积神经网络（GCNN）是最成功的机器学习方法之一，因为它在描述3D结构数据时的灵活性和有效性。大多数现有的GCNN模型集中在拓扑结构上，但过度简化了三维几何结构。然而，在材料科学中，原子的3D空间分布对于确定原子状态和内部力是至关重要的。本文提出了一种具有新型卷积机制的自适应GCNN，其同时在三维空间中同时模拟所有邻的原子之间的原子相互作用。我们将拟议模型应用于预测材料特性的两个明显挑战的问题。首先是亨利在金属 - 有机框架（MOF）中的气体吸附恒定，这是众所周知的，因为它对原子配置的高敏感性。第二种是固态晶体材料中的离子电导率，这是由于少数可用于训练的标记数据而困难。新模型优于两个数据集上的现有基于图形的模型，这表明临界三维几何信息确实捕获。

电子密度$ \ rho（\ vec {r}）$是用密度泛函理论（dft）计算地面能量的基本变量。除了总能量之外，$ \ rho（\ vec {r}）$分布和$ \ rho（\ vec {r}）$的功能通常用于捕获电子规模以功能材料和分子中的关键物理化学现象。方法提供对$ \ rho（\ vec {r}）的可紊乱系统，其具有少量计算成本的复杂无序系统可以是对材料相位空间的加快探索朝向具有更好功能的新材料的逆设计的游戏更换者。我们为预测$ \ rho（\ vec {r}）$。该模型基于成本图形神经网络，并且在作为消息传递图的一部分的特殊查询点顶点上预测了电子密度，但仅接收消息。该模型在多个数据组中进行测试，分子（QM9），液体乙烯碳酸酯电解质（EC）和Lixniymnzco（1-Y-Z）O 2锂离子电池阴极（NMC）。对于QM9分子，所提出的模型的准确性超过了从DFT获得的$ \ Rho（\ vec {r}）$中的典型变异性，以不同的交换相关功能，并显示超出最先进的准确性。混合氧化物（NMC）和电解质（EC）数据集更好的精度甚至更好。线性缩放模型同时探测成千上万点的能力允许计算$ \ Rho（\ vec {r}）$的大型复杂系统，比DFT快于允许筛选无序的功能材料。

这项工作介绍了神经性等因素的外部潜力（NEQUIP），E（3） - 用于学习分子动力学模拟的AB-INITIO计算的用于学习网状体电位的e（3）的神经网络方法。虽然大多数当代对称的模型使用不变的卷曲，但仅在标量上采取行动，Nequip采用E（3） - 几何张量的相互作用，举起Quivariant卷曲，导致了更多的信息丰富和忠实的原子环境代表。该方法在挑战和多样化的分子和材料集中实现了最先进的准确性，同时表现出显着的数据效率。 Nequip优先于现有型号，最多三个数量级的培训数据，挑战深度神经网络需要大量培训套装。该方法的高数据效率允许使用高阶量子化学水平的理论作为参考的精确潜力构建，并且在长时间尺度上实现高保真分子动力学模拟。

图形神经网络（GNN）正在化学工程中出现，以基于分子图的物理化学特性端到端学习。 GNNS的一个关键要素是合并函数，将原子矢量结合到分子指纹中。大多数以前的作品都使用标准池功能来预测各种属性。但是，不合适的合并功能会导致概括不佳的非物理GNN。我们根据有关学习特性的物理知识比较并选择有意义的GNN合并方法。通过量子机械计算计算出的分子特性证明了物理池函数的影响。我们还将结果与最近的SET2Set合并方法进行了比较。我们建议使用总和池来预测取决于分子大小的性能并比较分子大小无关的属性的池函数。总体而言，我们表明物理池功能的使用显着增强了概括。

Recently, graph neural networks (GNNs) have achieved remarkable performances for quantum mechanical problems. However, a graph convolution can only cover a localized region, and cannot capture long-range interactions of atoms. This behavior is contrary to theoretical interatomic potentials, which is a fundamental limitation of the spatial based GNNs. In this work, we propose a novel attention-based framework for molecular property prediction tasks. We represent a molecular conformation as a discrete atomic sequence combined by atom-atom distance attributes, named Geometry-aware Transformer (GeoT). In particular, we adopt a Transformer architecture, which has been widely used for sequential data. Our proposed model trains sequential representations of molecular graphs based on globally constructed attentions, maintaining all spatial arrangements of atom pairs. Our method does not suffer from cost intensive computations, such as angle calculations. The experimental results on several public benchmarks and visualization maps verified that keeping the long-range interatomic attributes can significantly improve the model predictability.

这项工作考虑了在属性关系图（ARG）上表示表示的任务。 ARG中的节点和边缘都与属性/功能相关联，允许ARG编码在实际应用中广泛观察到的丰富结构信息。现有的图形神经网络提供了有限的能力，可以在局部结构环境中捕获复杂的相互作用，从而阻碍他们利用ARG的表达能力。我们提出了Motif卷积模块（MCM），这是一种新的基于基线的图表表示技术，以更好地利用本地结构信息。处理连续边缘和节点功能的能力是MCM比现有基于基础图案的模型的优势之一。 MCM以无监督的方式构建了一个主题词汇，并部署了一种新型的主题卷积操作，以提取单个节点的局部结构上下文，然后将其用于通过多层perceptron学习高级节点表示，并在图神经网络中传递消息。与其他图形学习方法进行分类的合成图相比，我们的方法在捕获结构环境方面要好得多。我们还通过将其应用于几个分子基准来证明我们方法的性能和解释性优势。

The accurate prediction of physicochemical properties of chemical compounds in mixtures (such as the activity coefficient at infinite dilution $\gamma_{ij}^\infty$) is essential for developing novel and more sustainable chemical processes. In this work, we analyze the performance of previously-proposed GNN-based models for the prediction of $\gamma_{ij}^\infty$, and compare them with several mechanistic models in a series of 9 isothermal studies. Moreover, we develop the Gibbs-Helmholtz Graph Neural Network (GH-GNN) model for predicting $\ln \gamma_{ij}^\infty$ of molecular systems at different temperatures. Our method combines the simplicity of a Gibbs-Helmholtz-derived expression with a series of graph neural networks that incorporate explicit molecular and intermolecular descriptors for capturing dispersion and hydrogen bonding effects. We have trained this model using experimentally determined $\ln \gamma_{ij}^\infty$ data of 40,219 binary-systems involving 1032 solutes and 866 solvents, overall showing superior performance compared to the popular UNIFAC-Dortmund model. We analyze the performance of GH-GNN for continuous and discrete inter/extrapolation and give indications for the model's applicability domain and expected accuracy. In general, GH-GNN is able to produce accurate predictions for extrapolated binary-systems if at least 25 systems with the same combination of solute-solvent chemical classes are contained in the training set and a similarity indicator above 0.35 is also present. This model and its applicability domain recommendations have been made open-source at https://github.com/edgarsmdn/GH-GNN.

学习表达性分子表示对于促进分子特性的准确预测至关重要。尽管图形神经网络（GNNS）在分子表示学习中取得了显着进步，但它们通常面临诸如邻居探索，不足，过度光滑和过度阵列之类的局限性。同样，由于参数数量大，GNN通常具有较高的计算复杂性。通常，当面对相对大尺寸的图形或使用更深的GNN模型体系结构时，这种限制会出现或增加。克服这些问题的一个想法是将分子图简化为小型，丰富且有益的信息，这更有效，更具挑战性的培训GNN。为此，我们提出了一个新颖的分子图粗化框架，名为FUNQG利用函数组，作为分子的有影响力的构件来确定其性质，基于称为商图的图理论概念。通过实验，我们表明所产生的信息图比分子图小得多，因此是训练GNN的良好候选者。我们将FUNQG应用于流行的分子属性预测基准，然后比较所获得的数据集上的GNN体系结构的性能与原始数据集上的几个最先进的基线。通过实验，除了其参数数量和低计算复杂性的急剧减少之外，该方法除了其急剧减少之外，在各种数据集上的表现显着优于先前的基准。因此，FUNQG可以用作解决分子表示学习问题的简单，成本效益且可靠的方法。

建模原子系统的能量和力是计算化学中的一个基本问题，有可能帮助解决世界上许多最紧迫的问题，包括与能源稀缺和气候变化有关的问题。这些计算传统上是使用密度函数理论进行的，这在计算上非常昂贵。机器学习有可能从天数或小时到秒从天数大幅提高这些计算的效率。我们建议球形通道网络（SCN）对原子能量和力进行建模。 SCN是一个图神经网络，节点代表原子并边缘其相邻原子。原子嵌入是使用球形谐波表示的一组球形函数，称为球形通道。我们证明，通过基于3D边缘方向旋转嵌入式，可以在保持消息的旋转模糊性的同时使用更多信息。虽然均衡性是理想的属性，但我们发现，通过在消息传递和聚合中放松这种约束，可以提高准确性。我们在大规模开放催化剂2020数据集中展示了最新的结果，这些数据集在能源和力量预测中，用于许多任务和指标。

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.Recently, large scale quantum chemistry calculation and molecular dynamics simulations coupled with advances in high throughput experiments have begun to generate data at an unprecedented rate. Most classical techniques do not make effective use of the larger amounts of data that are now available. The time is ripe to apply more powerful and flexible machine learning methods to these problems, assuming we can find models with suitable inductive biases. The symmetries of atomic systems suggest neural networks that operate on graph structured data and are invariant to graph isomorphism might also be appropriate for molecules. Sufficiently successful models could someday help automate challenging chemical search problems in drug discovery or materials science.In this paper, our goal is to demonstrate effective machine learning models for chemical prediction problems

我们探索不同的策略，将先前的领域知识整合到深神经网络（DNN）的设计中。我们专注于图形神经网络（GNN），其用例是估计表示为图的化学系统（分子和晶体）的势能。我们将域知识的两个要素集成到GNN的设计中，以限制和正规化其学习，以提高准确性和泛化。首先，关于原子之间不同类型关系（化学键）存在的知识用于调节GNN中的节点的相互作用。其次，对某些物理数量的相关性的知识用于使用简单的多任务范式将学习的特征限制为更高的物理相关性。我们通过将它们应用于两个依赖不同机制来传播节点和更新节点状态的不同机制的架构来证明我们的知识集成的一般适用性。

通过定向消息传递通过方向消息通过的图形神经网络最近在多个分子特性预测任务上设置了最先进的技术。然而，它们依赖于通常不可用的原子位置信息，并获得它通常非常昂贵甚至不可能。在本文中，我们提出了合成坐标，使得能够使用高级GNN而不需要真正的分子配置。我们提出了两个距离作为合成坐标：使用个性化PageRank的对称变体指定分子配置的粗糙范围和基于图的距离的距离界限。为了利用距离和角度信息，我们提出了一种将正常图形神经网络转换为定向MPNN的方法。我们表明，通过这种转变，我们可以将正常图形神经网络的误差减少55％在锌基准。我们还通过在SMP和DimeNet ++模型中纳入合成坐标，在锌和自由QM9上设定了最新技术。我们的实现可在线获取。

产生稳定材料的周期性结构是材料设计界的长期挑战。这个任务很难，因为稳定的材料只存在于原子的所有可能的周期性布置的低维子空间中：1）坐标必须位于量子力学限定的局部能量最小，而2）全球稳定性也需要遵循结构不同原子类型之间的复杂，但特定的粘合偏好。现有方法未能纳入这些因素，并且经常缺乏适当的侵略者。我们提出了一种晶体扩散变分性AutoEncoder（CDVAE），其捕获材料稳定性的物理感应偏差。通过从稳定材料的数据分布中学习，解码器在扩散过程中产生材料，其将原子坐标朝向较低能量状态移动并更新原子类型以满足邻居之间的粘接偏好。我们的模型还明确地编码了周期性边界的交互，尊重置换，转换，旋转和周期性修正。我们在三个任务中显着优于过去的方法：1）重建输入结构，2）产生有效，多样化和现实的材料和3）产生优化特定性质的材料。我们还为更广泛的机器学习界提供了几个标准数据集和评估指标。

从诸如蛋白质折叠或配体 - 受体结合如蛋白质 - 折叠或配体 - 受体结合等生物分子过程的长时间轨迹的低尺寸表示是基本的重要性和动力学模型，例如Markov建模，这些模型已经证明是有用的，用于描述这些系统的动力学。最近，引入了一种被称为vampnet的无监督机器学习技术，以以端到端的方式学习低维度表示和线性动态模型。 Vampnet基于Markov进程（VAMP）的变分方法，并依赖于神经网络来学习粗粒度的动态。在此贡献中，我们将Vampnet和图形神经网络组合生成端到端的框架，以从长时间的分子动力学轨迹有效地学习高级动态和亚稳态。该方法承载图形表示学习的优点，并使用图形消息传递操作来生成用于VAMPNET中使用的每个数据点以生成粗粒化表示的嵌入。这种类型的分子表示结果导致更高的分辨率和更可接定的Markov模型，而不是标准Vampnet，使得对生物分子过程更详细的动力学研究。我们的GraphVampNet方法也具有注意机制，以找到分类为不同亚稳态的重要残留物。

图神经网络（GNN）是机器学习中非常流行的方法，并且非常成功地应用于分子和材料的性质。众所周知，一阶GNN是不完整的，即存在不同的图形，但在通过GNN的镜头看到时似乎相同。因此，更复杂的方案旨在提高其分辨能力。但是，在分子（以及更一般的点云）上的应用，为问题添加了几何维度。构造分子图表表示原子的最直接和普遍的方法将原子视为图中的顶点，并在所选截止中的每对原子之间绘制一个键。键可以用原子之间的距离进行装饰，所得的“距离图NN”（DGNN）在经验上已证明了出色的分辨能力，并广泛用于化学ML，所有已知的不可区分的图都在完全连接的极限中解析。在这里，我们表明，即使对于由3D原子云引起的完全连接图的受限情况也不完整。我们构造了一对不同的点云对产生图形，对于任何截止半径，基于一阶Weisfeiler-Lehman测试都是等效的。这类退化的结构包括化学上可见的构型，为某些完善的GNN架构的原子学机器学习设定了最终的限制。在原子环境描述中明确使用角度或方向信息的模型可以解决这些变性。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。