财产数据的可用性是化学过程开发中的主要瓶颈之一，通常需要耗时且昂贵的实验或将设计空间限制为少数已知分子。这种瓶颈一直是预测性财产模型持续发展的动机。对于新分子的性质预测，群体贡献方法一直在开创性。最近，机器学习加入了更具成熟的财产预测模型。但是，即使取得了最近的成功，将物理约束集成到机器学习模型中仍然具有挑战性。物理约束对于许多热力学特性，例如吉布斯 - 杜纳姆（Gibbs-Dunham）关系至关重要，它将额外的复杂性层引入预测中。在这里，我们介绍了SPT-NRTL，这是一种机器学习模型，以预测热力学一致的活动系数并提供NRTL参数，以便于过程模拟。结果表明，SPT-NRTL在所有官能团的活性系数预测中的精度高于UNIFAC，并且能够以几乎实验的精度预测许多蒸气 - 液位均衡性，如示例性混合物所示。 N-己烷。为了简化SPT-NRTL的应用，用SPT-NRTL计算了100 000 000的NRTL参数，并在线提供。

对混合物相位平衡的知识在性质和技术化学本质上至关重要。混合物的相位平衡计算需要活性系数。但是，由于实验成本高，有关活性系数的实验数据通常受到限制。为了准确有效地预测活性系数，最近已经开发了机器学习方法。然而，对于未知分子的活性系数，当前的机器学习方法仍然很差。在这项工作中，我们介绍了一个自然语言处理网络的微笑到properties-Transformer（SPT），以预测微笑代码的二进制限制活动系数。为了克服可用实验数据的局限性，我们最初是在从COSMO-RS（1000万个数据点）采样的大型合成数据数据集上训练我们的网络，然后对实验数据（20 870个数据点）进行微调。该训练策略使SPT能够准确预测限制活动系数，即使对于未知分子，与最新的活动系数预测（例如COSMO-RS，UNIFAC）相比，将平均预测误差一半切成一半，并改善了最近的机器学习方法。

The accurate prediction of physicochemical properties of chemical compounds in mixtures (such as the activity coefficient at infinite dilution $\gamma_{ij}^\infty$) is essential for developing novel and more sustainable chemical processes. In this work, we analyze the performance of previously-proposed GNN-based models for the prediction of $\gamma_{ij}^\infty$, and compare them with several mechanistic models in a series of 9 isothermal studies. Moreover, we develop the Gibbs-Helmholtz Graph Neural Network (GH-GNN) model for predicting $\ln \gamma_{ij}^\infty$ of molecular systems at different temperatures. Our method combines the simplicity of a Gibbs-Helmholtz-derived expression with a series of graph neural networks that incorporate explicit molecular and intermolecular descriptors for capturing dispersion and hydrogen bonding effects. We have trained this model using experimentally determined $\ln \gamma_{ij}^\infty$ data of 40,219 binary-systems involving 1032 solutes and 866 solvents, overall showing superior performance compared to the popular UNIFAC-Dortmund model. We analyze the performance of GH-GNN for continuous and discrete inter/extrapolation and give indications for the model's applicability domain and expected accuracy. In general, GH-GNN is able to produce accurate predictions for extrapolated binary-systems if at least 25 systems with the same combination of solute-solvent chemical classes are contained in the training set and a similarity indicator above 0.35 is also present. This model and its applicability domain recommendations have been made open-source at https://github.com/edgarsmdn/GH-GNN.

离子液体（ILS）是可持续过程的重要溶剂，并且需要预测IL中溶质的活性系数（AC）。最近，矩阵完成方法（MCM），变压器和图神经网络（GNN）在预测二元混合物的AC方面表现出很高的精度，例如宇宙RS和UNIFAC优于公认的模型。 GNN在这里特别有希望，因为他们学习了分子图到特性的关系，而无需预处理，通常是变压器所需的，并且与MCMS不同，适用于不包括训练中不包括的分子。但是，对于ILS，目前缺少GNN应用程序。在此，我们提出了一个GNN，以预测IL中溶质的温度依赖性无限稀释液。我们在包括40,000多个AC值的数据库上训练GNN，并将其与最先进的MCM进行比较。 GNN和MCM实现了类似的高预测性能，GNN还可以对培训期间未考虑的IL和溶质的AC进行高质量的预测。

Models that accurately predict properties based on chemical structure are valuable tools in drug discovery. However, for many properties, public and private training sets are typically small, and it is difficult for the models to generalize well outside of the training data. Recently, large language models have addressed this problem by using self-supervised pretraining on large unlabeled datasets, followed by fine-tuning on smaller, labeled datasets. In this paper, we report MolE, a molecular foundation model that adapts the DeBERTa architecture to be used on molecular graphs together with a two-step pretraining strategy. The first step of pretraining is a self-supervised approach focused on learning chemical structures, and the second step is a massive multi-task approach to learn biological information. We show that fine-tuning pretrained MolE achieves state-of-the-art results on 9 of the 22 ADMET tasks included in the Therapeutic Data Commons.

分子性质预测在化学中至关重要，特别是对于药物发现应用。但是，可用的分子属性数据通常受到限制，鼓励信息从相关数据传输。转移学习对计算机视觉和自然语言处理信号等领域产生了巨大影响，以实现其在分子财产预测中的潜力。我们提出了使用反应数据进行分子表示学习的预训练程序，并将其用于预训练微笑变压器。我们对从物理化学，生物物理学和生理学中的分子的12个分子性质预测任务进行微调和评估预先训练的模型，并与非预先训练的基线模型相比，对12个任务中的5个任务显示出统计学上的显着积极作用。

计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而，跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物，它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题，我们开发了开放的催化剂2022（OC22）数据集，包括62,521个密度功能理论（DFT）放松（〜9,884,504个单点计算），遍及一系列氧化物材料，覆盖范围，覆盖率和吸附物（ *H， *o， *o， *o， *o， *o， * n， *c， *ooh， *oh， *oh2， *o2， *co）。我们定义广义任务，以预测催化过程中适用的总系统能量，发展几个图神经网络的基线性能（Schnet，Dimenet ++，Forcenet，Spinconv，Painn，Painn，Gemnet-DT，Gemnet-DT，Gemnet-OC），并提供预先定义的数据集分割以建立明确的基准，以实现未来的努力。对于所有任务，我们研究组合数据集是否会带来更好的结果，即使它们包含不同的材料或吸附物。具体而言，我们在Open Catalyst 2020（OC20）数据集和OC22上共同训练模型，或OC22上的微调OC20型号。在最一般的任务中，Gemnet-OC看到通过微调来提高了约32％的能量预测，通过联合训练的力预测提高了约9％。令人惊讶的是，OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19％。数据集和基线模型是开源的，公众排行榜将遵循，以鼓励社区的持续发展，以了解总能源任务和数据。

Models based on machine learning can enable accurate and fast molecular property predictions, which is of interest in drug discovery and material design. Various supervised machine learning models have demonstrated promising performance, but the vast chemical space and the limited availability of property labels make supervised learning challenging. Recently, unsupervised transformer-based language models pretrained on a large unlabelled corpus have produced state-of-the-art results in many downstream natural language processing tasks. Inspired by this development, we present molecular embeddings obtained by training an efficient transformer encoder model, MoLFormer, which uses rotary positional embeddings. This model employs a linear attention mechanism, coupled with highly distributed training, on SMILES sequences of 1.1 billion unlabelled molecules from the PubChem and ZINC datasets. We show that the learned molecular representation outperforms existing baselines, including supervised and self-supervised graph neural networks and language models, on several downstream tasks from ten benchmark datasets. They perform competitively on two others. Further analyses, specifically through the lens of attention, demonstrate that MoLFormer trained on chemical SMILES indeed learns the spatial relationships between atoms within a molecule. These results provide encouraging evidence that large-scale molecular language models can capture sufficient chemical and structural information to predict various distinct molecular properties, including quantum-chemical properties.

虽然最近在许多科学领域都变得无处不在，但对其评估的关注较少。对于分子生成模型，最先进的是孤立或与其输入有关的输出。但是，它们的生物学和功能特性（例如配体 - 靶标相互作用）尚未得到解决。在这项研究中，提出了一种新型的生物学启发的基准，用于评估分子生成模型。具体而言，设计了三个不同的参考数据集，并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标，将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果，但对药物目标亲和力结合和分子对接分数进行了更详细的比较，表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论，而多模式的方法是错误的结论。因此优选。该框架的关键优点是，它通过明确关注配体 - 靶标相互作用，将先前的物理化学域知识纳入基准测试过程，从而创建了一种高效的工具，不仅用于评估分子生成型输出，而且还用于丰富富含分子生成的输出。一般而言，药物发现过程。

可拍照的分子显示了可以使用光访问的两个或多个异构体形式。将这些异构体的电子吸收带分开是选择性解决特定异构体并达到高光稳态状态的关键，同时总体红色转移带来的吸收带可以限制因紫外线暴露而限制材料损害，并增加了光疗法应用中的渗透深度。但是，通过合成设计将这些属性工程为系统仍然是一个挑战。在这里，我们提出了一条数据驱动的发现管道，用于由数据集策划和使用高斯过程的多任务学习支撑的分子照片开关。在对电子过渡波长的预测中，我们证明了使用来自四个Photoswitch转变波长的标签训练的多输出高斯过程（MOGP）产生相对于单任务模型的最强预测性能，并且在操作上超过了时间依赖时间依赖性的密度理论（TD） -dft）就预测的墙壁锁定时间而言。我们通过筛选可商购的可拍摄分子库来实验验证我们提出的方法。通过此屏幕，我们确定了几个图案，这些基序显示了它们的异构体的分离电子吸收带，表现出红移的吸收，并且适用于信息传输和光电学应用。我们的策划数据集，代码以及所有型号均可在https://github.com/ryan-rhys/the-photoswitch-dataset上提供

We discover a robust self-supervised strategy tailored towards molecular representations for generative masked language models through a series of tailored, in-depth ablations. Using this pre-training strategy, we train BARTSmiles, a BART-like model with an order of magnitude more compute than previous self-supervised molecular representations. In-depth evaluations show that BARTSmiles consistently outperforms other self-supervised representations across classification, regression, and generation tasks setting a new state-of-the-art on 11 tasks. We then quantitatively show that when applied to the molecular domain, the BART objective learns representations that implicitly encode our downstream tasks of interest. For example, by selecting seven neurons from a frozen BARTSmiles, we can obtain a model having performance within two percentage points of the full fine-tuned model on task Clintox. Lastly, we show that standard attribution interpretability methods, when applied to BARTSmiles, highlight certain substructures that chemists use to explain specific properties of molecules. The code and the pretrained model are publicly available.

Despite significant progress of generative models in the natural sciences, their controllability remains challenging. One fundamentally missing aspect of molecular or protein generative models is an inductive bias that can reflect continuous properties of interest. To that end, we propose the Regression Transformer (RT), a novel method that abstracts regression as a conditional sequence modeling problem. This introduces a new paradigm of multitask language models which seamlessly bridge sequence regression and conditional sequence generation. We thoroughly demonstrate that, despite using a nominal-scale training objective, the RT matches or surpasses the performance of conventional regression models in property prediction tasks of small molecules, proteins and chemical reactions. Critically, priming the same model with continuous properties yields a highly competitive conditional generative model that outperforms specialized approaches in a substructure-constrained, property-driven molecule generation benchmark. Our dichotomous approach is facilitated by a novel, alternating training scheme that enables the model to decorate seed sequences by desired properties, e.g., to optimize reaction yield. In sum, the RT is the first report of a multitask model that concurrently excels at predictive and generative tasks in biochemistry. This finds particular application in property-driven, local exploration of the chemical or protein space and could pave the road toward foundation models in material design. The code to reproduce all experiments of the paper is available at: https://github.com/IBM/regression-transformer

机器学习潜力是分子模拟的重要工具，但是由于缺乏高质量数据集来训练它们的发展，它们的开发阻碍了它们。我们描述了Spice数据集，这是一种新的量子化学数据集，用于训练与模拟与蛋白质相互作用的药物样的小分子相关的潜在。它包含超过110万个小分子，二聚体，二肽和溶剂化氨基酸的构象。它包括15个元素，带电和未充电的分子以及广泛的共价和非共价相互作用。它提供了在{\ omega} b97m-d3（bj）/def2-tzVPPD理论水平以及其他有用的数量（例如多极矩和键阶）上计算出的力和能量。我们在其上训练一组机器学习潜力，并证明它们可以在化学空间的广泛区域中实现化学精度。它可以作为创建可转移的，准备使用潜在功能用于分子模拟的宝贵资源。

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

我们提出了一种新的方法，可实现化学流程表的自动完成。这个想法的灵感来自文本的自动完成。我们使用基于文本的SFILE 2.0表示法表示流程图为字符串，并使用基于变压器的语言模型在流程图中学习SFILE 2.0语言和常见模式的语法结构。我们将模型预先培训，以了解合成生成的流程图，以学习流语言语法。然后，我们在真实流程图拓扑的转移学习步骤中微调模型。最后，我们使用训练有素的因果语言建模模型来自动完成流程表。最终，所提出的方法可以在交互式流动表合成过程中为化学工程师提供建议。结果表明，这种方法对于未来的AI辅助过程合成具有很高的潜力。

对聚合物性质的准确预测在聚合物的开发和设计中具有重要意义。通常，需要进行昂贵且耗时的实验或模拟来评估聚合物的功能。最近，配备了注意力机制的变压器模型在各种自然语言处理任务中表现出卓越的性能。但是，这种方法尚未在聚合物科学中进行研究。在此，我们报告了TransPolymer，这是一种基于变压器的语言模型，用于聚合物属性预测。由于我们提出的具有化学意识的聚合物令牌，转染剂可以直接从聚合物序列中学习表示。该模型通过在大型未标记数据集上进行预处理，从而学习表达性表示，然后在下游数据集上进行有关各种聚合物属性的模型。转聚合物在所有八个数据集中都能达到卓越的性能，并且在大多数下游任务上都显着超过其他基线。此外，预处理的转聚合物对监督转聚合物和其他语言模型的改善增强了对代表学习中大型未标记数据预处理的显着好处。实验结果进一步证明了注意机制在理解聚合物序列中的重要作用。我们强调该模型是一种有前途的计算工具，用于促进数据科学视图中的结构 - 质谱关系。

由于控制结构特性关系的分子间相互作用的微妙平衡，预测由分子构建块形成的晶体结构的稳定性是一个高度非平凡的科学问题。一种特别活跃和富有成果的方法涉及对相互作用的化学部分的不同组合进行分类，因为了解不同相互作用的相对能量可以使分子晶体的设计和微调其稳定性。尽管这通常是基于对已知晶体结构中最常见的基序的经验观察进行的，但我们建议采用有监督和无监督的机器学习技术的组合来自动化分子构建块的广泛库。我们介绍了一个针对有机晶体的结合能量预测的结构描述符，并利用以原子为中心的性质来获得对不同化学基团对晶体晶格能量的贡献的数据驱动评估。然后，我们使用结构 - 能量景观的低维表示来解释该库，并讨论可以从本分析中提取的见解的选定示例，从而提供了一个完整的数据库来指导分子材料的设计。

We introduce an end-to-end computational framework that enables hyperparameter optimization with the DeepHyper library, accelerated training, and interpretable AI inference with a suite of state-of-the-art AI models, including CGCNN, PhysNet, SchNet, MPNN, MPNN-transformer, and TorchMD-Net. We use these AI models and the benchmark QM9, hMOF, and MD17 datasets to showcase the prediction of user-specified materials properties in modern computing environments, and to demonstrate translational applications for the modeling of small molecules, crystals and metal organic frameworks with a unified, stand-alone framework. We deployed and tested this framework in the ThetaGPU supercomputer at the Argonne Leadership Computing Facility, and the Delta supercomputer at the National Center for Supercomputing Applications to provide researchers with modern tools to conduct accelerated AI-driven discovery in leadership class computing environments.

We report a method to convert discrete representations of molecules to and from a multidimensional continuous representation. This model allows us to generate new molecules for efficient exploration and optimization through open-ended spaces of chemical compounds.

发现更适合特定目的的新材料是提高人类生活质量的重要问题。这里，提出了一种神经网络，其建议基于对化学语言的深刻理解符合一些所需条件的神经网络（生成的化学变压器，GCT）。 GCT中的注意机制允许更深入地了解超出化学语言本身的局限性的分子结构，这使得语义不连续性稀疏地对角色造成了注意力。通过定量评估所生成的分子的质量，研究了语言模型对逆分子设计问题的重要性。 GCT产生高度现实的化学串，满足化学和语言语法规则。从生成的字符串解析的分子同时满足多个目标属性并因单个条件集而变化。通过加速所需物质发现的过程，这些进展将有助于提高人类生活质量。