对混合物相位平衡的知识在性质和技术化学本质上至关重要。混合物的相位平衡计算需要活性系数。但是，由于实验成本高，有关活性系数的实验数据通常受到限制。为了准确有效地预测活性系数，最近已经开发了机器学习方法。然而，对于未知分子的活性系数，当前的机器学习方法仍然很差。在这项工作中，我们介绍了一个自然语言处理网络的微笑到properties-Transformer（SPT），以预测微笑代码的二进制限制活动系数。为了克服可用实验数据的局限性，我们最初是在从COSMO-RS（1000万个数据点）采样的大型合成数据数据集上训练我们的网络，然后对实验数据（20 870个数据点）进行微调。该训练策略使SPT能够准确预测限制活动系数，即使对于未知分子，与最新的活动系数预测（例如COSMO-RS，UNIFAC）相比，将平均预测误差一半切成一半，并改善了最近的机器学习方法。

财产数据的可用性是化学过程开发中的主要瓶颈之一，通常需要耗时且昂贵的实验或将设计空间限制为少数已知分子。这种瓶颈一直是预测性财产模型持续发展的动机。对于新分子的性质预测，群体贡献方法一直在开创性。最近，机器学习加入了更具成熟的财产预测模型。但是，即使取得了最近的成功，将物理约束集成到机器学习模型中仍然具有挑战性。物理约束对于许多热力学特性，例如吉布斯 - 杜纳姆（Gibbs-Dunham）关系至关重要，它将额外的复杂性层引入预测中。在这里，我们介绍了SPT-NRTL，这是一种机器学习模型，以预测热力学一致的活动系数并提供NRTL参数，以便于过程模拟。结果表明，SPT-NRTL在所有官能团的活性系数预测中的精度高于UNIFAC，并且能够以几乎实验的精度预测许多蒸气 - 液位均衡性，如示例性混合物所示。 N-己烷。为了简化SPT-NRTL的应用，用SPT-NRTL计算了100 000 000的NRTL参数，并在线提供。

The accurate prediction of physicochemical properties of chemical compounds in mixtures (such as the activity coefficient at infinite dilution $\gamma_{ij}^\infty$) is essential for developing novel and more sustainable chemical processes. In this work, we analyze the performance of previously-proposed GNN-based models for the prediction of $\gamma_{ij}^\infty$, and compare them with several mechanistic models in a series of 9 isothermal studies. Moreover, we develop the Gibbs-Helmholtz Graph Neural Network (GH-GNN) model for predicting $\ln \gamma_{ij}^\infty$ of molecular systems at different temperatures. Our method combines the simplicity of a Gibbs-Helmholtz-derived expression with a series of graph neural networks that incorporate explicit molecular and intermolecular descriptors for capturing dispersion and hydrogen bonding effects. We have trained this model using experimentally determined $\ln \gamma_{ij}^\infty$ data of 40,219 binary-systems involving 1032 solutes and 866 solvents, overall showing superior performance compared to the popular UNIFAC-Dortmund model. We analyze the performance of GH-GNN for continuous and discrete inter/extrapolation and give indications for the model's applicability domain and expected accuracy. In general, GH-GNN is able to produce accurate predictions for extrapolated binary-systems if at least 25 systems with the same combination of solute-solvent chemical classes are contained in the training set and a similarity indicator above 0.35 is also present. This model and its applicability domain recommendations have been made open-source at https://github.com/edgarsmdn/GH-GNN.

离子液体（ILS）是可持续过程的重要溶剂，并且需要预测IL中溶质的活性系数（AC）。最近，矩阵完成方法（MCM），变压器和图神经网络（GNN）在预测二元混合物的AC方面表现出很高的精度，例如宇宙RS和UNIFAC优于公认的模型。 GNN在这里特别有希望，因为他们学习了分子图到特性的关系，而无需预处理，通常是变压器所需的，并且与MCMS不同，适用于不包括训练中不包括的分子。但是，对于ILS，目前缺少GNN应用程序。在此，我们提出了一个GNN，以预测IL中溶质的温度依赖性无限稀释液。我们在包括40,000多个AC值的数据库上训练GNN，并将其与最先进的MCM进行比较。 GNN和MCM实现了类似的高预测性能，GNN还可以对培训期间未考虑的IL和溶质的AC进行高质量的预测。

Models based on machine learning can enable accurate and fast molecular property predictions, which is of interest in drug discovery and material design. Various supervised machine learning models have demonstrated promising performance, but the vast chemical space and the limited availability of property labels make supervised learning challenging. Recently, unsupervised transformer-based language models pretrained on a large unlabelled corpus have produced state-of-the-art results in many downstream natural language processing tasks. Inspired by this development, we present molecular embeddings obtained by training an efficient transformer encoder model, MoLFormer, which uses rotary positional embeddings. This model employs a linear attention mechanism, coupled with highly distributed training, on SMILES sequences of 1.1 billion unlabelled molecules from the PubChem and ZINC datasets. We show that the learned molecular representation outperforms existing baselines, including supervised and self-supervised graph neural networks and language models, on several downstream tasks from ten benchmark datasets. They perform competitively on two others. Further analyses, specifically through the lens of attention, demonstrate that MoLFormer trained on chemical SMILES indeed learns the spatial relationships between atoms within a molecule. These results provide encouraging evidence that large-scale molecular language models can capture sufficient chemical and structural information to predict various distinct molecular properties, including quantum-chemical properties.

Models that accurately predict properties based on chemical structure are valuable tools in drug discovery. However, for many properties, public and private training sets are typically small, and it is difficult for the models to generalize well outside of the training data. Recently, large language models have addressed this problem by using self-supervised pretraining on large unlabeled datasets, followed by fine-tuning on smaller, labeled datasets. In this paper, we report MolE, a molecular foundation model that adapts the DeBERTa architecture to be used on molecular graphs together with a two-step pretraining strategy. The first step of pretraining is a self-supervised approach focused on learning chemical structures, and the second step is a massive multi-task approach to learn biological information. We show that fine-tuning pretrained MolE achieves state-of-the-art results on 9 of the 22 ADMET tasks included in the Therapeutic Data Commons.

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

虽然最近在许多科学领域都变得无处不在，但对其评估的关注较少。对于分子生成模型，最先进的是孤立或与其输入有关的输出。但是，它们的生物学和功能特性（例如配体 - 靶标相互作用）尚未得到解决。在这项研究中，提出了一种新型的生物学启发的基准，用于评估分子生成模型。具体而言，设计了三个不同的参考数据集，并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标，将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果，但对药物目标亲和力结合和分子对接分数进行了更详细的比较，表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论，而多模式的方法是错误的结论。因此优选。该框架的关键优点是，它通过明确关注配体 - 靶标相互作用，将先前的物理化学域知识纳入基准测试过程，从而创建了一种高效的工具，不仅用于评估分子生成型输出，而且还用于丰富富含分子生成的输出。一般而言，药物发现过程。

分子性质预测在化学中至关重要，特别是对于药物发现应用。但是，可用的分子属性数据通常受到限制，鼓励信息从相关数据传输。转移学习对计算机视觉和自然语言处理信号等领域产生了巨大影响，以实现其在分子财产预测中的潜力。我们提出了使用反应数据进行分子表示学习的预训练程序，并将其用于预训练微笑变压器。我们对从物理化学，生物物理学和生理学中的分子的12个分子性质预测任务进行微调和评估预先训练的模型，并与非预先训练的基线模型相比，对12个任务中的5个任务显示出统计学上的显着积极作用。

We discover a robust self-supervised strategy tailored towards molecular representations for generative masked language models through a series of tailored, in-depth ablations. Using this pre-training strategy, we train BARTSmiles, a BART-like model with an order of magnitude more compute than previous self-supervised molecular representations. In-depth evaluations show that BARTSmiles consistently outperforms other self-supervised representations across classification, regression, and generation tasks setting a new state-of-the-art on 11 tasks. We then quantitatively show that when applied to the molecular domain, the BART objective learns representations that implicitly encode our downstream tasks of interest. For example, by selecting seven neurons from a frozen BARTSmiles, we can obtain a model having performance within two percentage points of the full fine-tuned model on task Clintox. Lastly, we show that standard attribution interpretability methods, when applied to BARTSmiles, highlight certain substructures that chemists use to explain specific properties of molecules. The code and the pretrained model are publicly available.

蛋白质 - 配体相互作用（PLIS）是生化研究的基础，其鉴定对于估计合理治疗设计的生物物理和生化特性至关重要。目前，这些特性的实验表征是最准确的方法，然而，这是非常耗时和劳动密集型的。在这种情况下已经开发了许多计算方法，但大多数现有PLI预测大量取决于2D蛋白质序列数据。在这里，我们提出了一种新颖的并行图形神经网络（GNN），以集成PLI预测的知识表示和推理，以便通过专家知识引导的深度学习，并通过3D结构数据通知。我们开发了两个不同的GNN架构，GNNF是采用不同特种的基础实现，以增强域名认识，而GNNP是一种新颖的实现，可以预测未经分子间相互作用的先验知识。综合评价证明，GNN可以成功地捕获配体和蛋白质3D结构之间的二元相互作用，对于GNNF的测试精度和0.958，用于预测蛋白质 - 配体络合物的活性。这些模型进一步适用于回归任务以预测实验结合亲和力，PIC50对于药物效力和功效至关重要。我们在实验亲和力上达到0.66和0.65的Pearson相关系数，分别在PIC50和GNNP上进行0.50和0.51，优于基于2D序列的模型。我们的方法可以作为可解释和解释的人工智能（AI）工具，用于预测活动，效力和铅候选的生物物理性质。为此，我们通过筛选大型复合库并将我们的预测与实验测量数据进行比较来展示GNNP对SARS-COV-2蛋白靶标的实用性。

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

对聚合物性质的准确预测在聚合物的开发和设计中具有重要意义。通常，需要进行昂贵且耗时的实验或模拟来评估聚合物的功能。最近，配备了注意力机制的变压器模型在各种自然语言处理任务中表现出卓越的性能。但是，这种方法尚未在聚合物科学中进行研究。在此，我们报告了TransPolymer，这是一种基于变压器的语言模型，用于聚合物属性预测。由于我们提出的具有化学意识的聚合物令牌，转染剂可以直接从聚合物序列中学习表示。该模型通过在大型未标记数据集上进行预处理，从而学习表达性表示，然后在下游数据集上进行有关各种聚合物属性的模型。转聚合物在所有八个数据集中都能达到卓越的性能，并且在大多数下游任务上都显着超过其他基线。此外，预处理的转聚合物对监督转聚合物和其他语言模型的改善增强了对代表学习中大型未标记数据预处理的显着好处。实验结果进一步证明了注意机制在理解聚合物序列中的重要作用。我们强调该模型是一种有前途的计算工具，用于促进数据科学视图中的结构 - 质谱关系。

可拍照的分子显示了可以使用光访问的两个或多个异构体形式。将这些异构体的电子吸收带分开是选择性解决特定异构体并达到高光稳态状态的关键，同时总体红色转移带来的吸收带可以限制因紫外线暴露而限制材料损害，并增加了光疗法应用中的渗透深度。但是，通过合成设计将这些属性工程为系统仍然是一个挑战。在这里，我们提出了一条数据驱动的发现管道，用于由数据集策划和使用高斯过程的多任务学习支撑的分子照片开关。在对电子过渡波长的预测中，我们证明了使用来自四个Photoswitch转变波长的标签训练的多输出高斯过程（MOGP）产生相对于单任务模型的最强预测性能，并且在操作上超过了时间依赖时间依赖性的密度理论（TD） -dft）就预测的墙壁锁定时间而言。我们通过筛选可商购的可拍摄分子库来实验验证我们提出的方法。通过此屏幕，我们确定了几个图案，这些基序显示了它们的异构体的分离电子吸收带，表现出红移的吸收，并且适用于信息传输和光电学应用。我们的策划数据集，代码以及所有型号均可在https://github.com/ryan-rhys/the-photoswitch-dataset上提供

We introduce an end-to-end computational framework that enables hyperparameter optimization with the DeepHyper library, accelerated training, and interpretable AI inference with a suite of state-of-the-art AI models, including CGCNN, PhysNet, SchNet, MPNN, MPNN-transformer, and TorchMD-Net. We use these AI models and the benchmark QM9, hMOF, and MD17 datasets to showcase the prediction of user-specified materials properties in modern computing environments, and to demonstrate translational applications for the modeling of small molecules, crystals and metal organic frameworks with a unified, stand-alone framework. We deployed and tested this framework in the ThetaGPU supercomputer at the Argonne Leadership Computing Facility, and the Delta supercomputer at the National Center for Supercomputing Applications to provide researchers with modern tools to conduct accelerated AI-driven discovery in leadership class computing environments.

定量探索了量子化学参考数据的训练神经网络（NNS）预测的不确定性量化的价值。为此，适当地修改了Physnet NN的体系结构，并使用不同的指标评估所得模型，以量化校准，预测质量以及预测误差和预测的不确定性是否可以相关。 QM9数据库培训的结果以及分布内外的测试集的数据表明，错误和不确定性与线性无关。结果阐明了噪声和冗余使分子的性质预测复杂化，即使在发生变化的情况下，例如在两个原本相同的分子中的双键迁移 - 很小。然后将模型应用于互变异反应的真实数据库。分析特征空间中的成员之间的距离与其他参数结合在一起表明，训练数据集中的冗余信息会导致较大的差异和小错误，而存在相似但非特定的信息的存在会返回大错误，但差异很小。例如，这是对含硝基的脂肪族链的观察到的，尽管训练集包含了与芳香族分子结合的硝基组的几个示例，但这些预测很困难。这强调了训练数据组成的重要性，并提供了化学洞察力，以了解这如何影响ML模型的预测能力。最后，提出的方法可用于通过主动学习优化基于信息的化学数据库改进目标应用程序。

我们提出了一种新的方法，可实现化学流程表的自动完成。这个想法的灵感来自文本的自动完成。我们使用基于文本的SFILE 2.0表示法表示流程图为字符串，并使用基于变压器的语言模型在流程图中学习SFILE 2.0语言和常见模式的语法结构。我们将模型预先培训，以了解合成生成的流程图，以学习流语言语法。然后，我们在真实流程图拓扑的转移学习步骤中微调模型。最后，我们使用训练有素的因果语言建模模型来自动完成流程表。最终，所提出的方法可以在交互式流动表合成过程中为化学工程师提供建议。结果表明，这种方法对于未来的AI辅助过程合成具有很高的潜力。

在药物发现中，分子优化是在所需药物性质方面将药物候选改变为更好的阶梯。随着近期人工智能的进展，传统上的体外过程越来越促进了Silico方法。我们以硅方法提出了一种创新的，以通过深生成模型制定分子并制定问题，以便产生优化的分子图。我们的生成模型遵循基于片段的药物设计的关键思想，并通过修改其小碎片来优化分子。我们的模型了解如何识别待优化的碎片以及如何通过学习具有良好和不良性质的分子的差异来修改此类碎片。在优化新分子时，我们的模型将学习信号应用于在片段的预测位置解码优化的片段。我们还将多个这样的模型构造成管道，使得管道中的每个模型能够优化一个片段，因此整个流水线能够在需要时改变多个分子片段。我们将我们的模型与基准数据集的其他最先进的方法进行比较，并证明我们的方法在中等分子相似度约束下具有超过80％的性质改善，在高分子相似度约束下具有超过80％的财产改善。 。

在药物发现中，具有所需生物活性的新分子的合理设计是一项至关重要但具有挑战性的任务，尤其是在治疗新的靶家庭或研究靶标时。在这里，我们提出了PGMG，这是一种用于生物活化分子产生的药效团的深度学习方法。PGMG通过药理的指导提供了一种灵活的策略，以使用训练有素的变异自动编码器在各种情况下生成具有结构多样性的生物活性分子。我们表明，PGMG可以在给定药效团模型的情况下生成匹配的分子，同时保持高度的有效性，独特性和新颖性。在案例研究中，我们证明了PGMG在基于配体和基于结构的药物从头设计以及铅优化方案中生成生物活性分子的应用。总体而言，PGMG的灵活性和有效性使其成为加速药物发现过程的有用工具。