3D空间中的空间结构对于确定分子特性是重要的。最近的论文使用几何深度学习来代表分子和预测性质。然而，这些论文在捕获输入原子的远程依赖性时在计算上昂贵;并且尚未考虑外部距离的不均匀性，因此未能学习不同尺度的上下文依赖表示。为了处理这些问题，我们引入了3D变压器，变压器的变型，用于结合3D空间信息的分子表示。 3D变压器在完全连接的图形上运行，在原子之间的直接连接。为了应对外部距离的不均匀性，我们开发了一种多尺度的自我关注模块，利用局部细粒度模式随着越来越多的上下文尺度来利用局部细粒度模式。由于不同尺寸的分子依赖于不同种类的空间特征，我们设计了一种自适应位置编码模块，用于针对小型和大分子采用不同的位置编码方法。最后，为了获得原子嵌入的分子表示，我们提出了一种殷勤最远的点采样算法，该算法在注意分数的帮助下选择一部分原子，克服虚拟节点的障碍和先前的距离 - 优势下采样方法。我们通过三个重要的科学域验证3D变压器：量子化学，物质科学和蛋白质组学。我们的实验表现出对晶体性能预测任务和蛋白质 - 配体结合亲和预测任务的最先进模型的显着改善，并且在量子化学分子数据集中显示了更好或更有竞争的性能。这项工作提供了明确的证据表明，生物化学任务可以从3D分子表示中获得一致的益处，不同的任务需要不同的位置编码方法。

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

没有标签的预处理分子表示模型是各种应用的基础。常规方法主要是处理2D分子图，并仅专注于2D任务，使其预验证的模型无法表征3D几何形状，因此对于下游3D任务有缺陷。在这项工作中，我们从完整而新颖的意义上处理了3D分子预处理。特别是，我们首先提议采用基于能量的模型作为预处理的骨干，该模型具有实现3D空间对称性的优点。然后，我们为力预测开发了节点级预处理损失，在此过程中，我们进一步利用了Riemann-Gaussian分布，以确保损失为E（3） - 不变，从而实现了更多的稳健性。此外，还利用了图形噪声量表预测任务，以进一步促进最终的性能。我们评估了从两个具有挑战性的3D基准：MD17和QM9的大规模3D数据集GEOM-QM9预测的模型。实验结果支持我们方法对当前最新预处理方法的更好疗效，并验证我们设计的有效性。

分子表示学习有助于多个下游任务，例如分子性质预测和药物设计。为了适当地代表分子，图形对比学习是一个有前途的范式，因为它利用自我监督信号并没有人类注释要求。但是，先前的作品未能将基本域名知识纳入图表语义，因此忽略了具有共同属性的原子之间的相关性，但不通过键连接连接。为了解决这些问题，我们构建化学元素知识图（KG），总结元素之间的微观关联，并提出了一种用于分子代表学习的新颖知识增强的对比学习（KCL）框架。 KCL框架由三个模块组成。第一个模块，知识引导的图形增强，基于化学元素kg增强原始分子图。第二模块，知识意识的图形表示，利用用于原始分子图的公共曲线图编码器和通过神经网络（KMPNN）的知识感知消息来提取分子表示来编码增强分子图中的复杂信息。最终模块是一种对比目标，在那里我们在分子图的这两个视图之间最大化协议。广泛的实验表明，KCL获得了八个分子数据集上的最先进基线的优异性能。可视化实验适当地解释了在增强分子图中从原子和属性中了解的KCL。我们的代码和数据可用于补充材料。

Models that accurately predict properties based on chemical structure are valuable tools in drug discovery. However, for many properties, public and private training sets are typically small, and it is difficult for the models to generalize well outside of the training data. Recently, large language models have addressed this problem by using self-supervised pretraining on large unlabeled datasets, followed by fine-tuning on smaller, labeled datasets. In this paper, we report MolE, a molecular foundation model that adapts the DeBERTa architecture to be used on molecular graphs together with a two-step pretraining strategy. The first step of pretraining is a self-supervised approach focused on learning chemical structures, and the second step is a massive multi-task approach to learn biological information. We show that fine-tuning pretrained MolE achieves state-of-the-art results on 9 of the 22 ADMET tasks included in the Therapeutic Data Commons.

基于合并和处理对称信息的神经网络架构的几何深度学习（GDL）已经成为人工智能最近的范式。GDL在分子建模应用中具有特定的承诺，其中存在具有不同对称性和抽象水平的各种分子表示。本综述提供了分子GDL的结构化和协调概述，突出了其在药物发现，化学合成预测和量子化学中的应用。重点是学习的分子特征的相关性及其对成熟的分子描述符的互补性。本综述概述了当前的挑战和机会，并提出了用于分子科学GDL的未来的预测。

Recently, graph neural networks (GNNs) have achieved remarkable performances for quantum mechanical problems. However, a graph convolution can only cover a localized region, and cannot capture long-range interactions of atoms. This behavior is contrary to theoretical interatomic potentials, which is a fundamental limitation of the spatial based GNNs. In this work, we propose a novel attention-based framework for molecular property prediction tasks. We represent a molecular conformation as a discrete atomic sequence combined by atom-atom distance attributes, named Geometry-aware Transformer (GeoT). In particular, we adopt a Transformer architecture, which has been widely used for sequential data. Our proposed model trains sequential representations of molecular graphs based on globally constructed attentions, maintaining all spatial arrangements of atom pairs. Our method does not suffer from cost intensive computations, such as angle calculations. The experimental results on several public benchmarks and visualization maps verified that keeping the long-range interatomic attributes can significantly improve the model predictability.

学习有效的蛋白质表示在生物学的各种任务中至关重要，例如预测蛋白质功能或结构。现有的方法通常在大量未标记的氨基酸序列上预先蛋白质语言模型，然后在下游任务中使用一些标记的数据来对模型进行修复。尽管基于序列的方法具有有效性，但尚未探索蛋白质性能预测的已知蛋白质结构的预处理功能，尽管蛋白质结构已知是蛋白质功能的决定因素，但尚未探索。在本文中，我们建议根据其3D结构预处理蛋白质。我们首先提出一个简单而有效的编码器，以学习蛋白质的几何特征。我们通过利用多视图对比学习和不同的自我预测任务来预先蛋白质图编码器。对功能预测和折叠分类任务的实验结果表明，我们提出的预处理方法表现优于或与最新的基于最新的序列方法相提并论，同时使用较少的数据。我们的实施可在https://github.com/deepgraphlearning/gearnet上获得。

由于它们在元素之间代表复杂互动的能力，变压器已成为许多应用中的选择方法。然而，将变压器架构扩展到非顺序数据，例如分子，并使其对小型数据集的训练仍然是一个挑战。在这项工作中，我们引入了一种用于分子性能预测的基于变压器的架构，其能够捕获分子的几何形状。我们通过分子几何形状的初始编码来修改经典位置编码器，以及学习的门控自我关注机制。我们进一步提出了一种增强方案，用于避免通过过次分辨率的架构引起的过度拟合的分子数据。所提出的框架优于最先进的方法，同时仅基于纯机器学习，即，即该方法不包含量子化学的域知识，并且在成对原子距离旁边没有使用延伸的几何输入。

用于预测蛋白质之间的界面触点的计算方法对于药物发现，因此可以显着地推进替代方法的准确性，例如蛋白质 - 蛋白质对接，蛋白质功能分析工具和其他用于蛋白质生物信息学的计算方法。在这项工作中，我们介绍了几何变压器，一种用于旋转的新型几何不变性的曲线图变压器，用于旋转和平移 - 不变的蛋白质接口接触预测，包装在膨胀的端到端预测管道内。 Deepinteract预测伴侣特异性蛋白质界面触点（即，蛋白质残留物 - 残留物接触）给出了两种蛋白质的3D三级结构作为输入。在严格的基准测试中，深入的蛋白质复杂目标来自第13和第14次CASP-CAPRI实验以及对接基准5，实现14％和1.1％顶部L / 5精度（L：蛋白质单位的长度） ， 分别。在这样做的情况下，使用几何变压器作为其基于图形的骨干，除了与深度兼容的其他图形的神经网络骨架之外，还优于接口接触预测的现有方法，从而验证了几何变压器学习丰富关系的有效性用于3D蛋白质结构下游任务的-Geometric特征。

分子表示学习（MRL）是建立机器学习与化学科学之间联系的关键步骤。特别是，它将分子编码为保留分子结构和特征的数值向量，在其上可以执行下游任务（例如，属性预测）。最近，MRL取得了相当大的进步，尤其是在基于深的分子图学习方法中。在这项调查中，我们系统地回顾了这些基于图的分子表示技术。具体而言，我们首先介绍2D和3D图分子数据集的数据和功能。然后，我们总结了专门为MRL设计的方法，并将其分为四种策略。此外，我们讨论了MRL支持的一些典型化学应用。为了促进该快速发展领域的研究，我们还列出了论文中的基准和常用数据集。最后，我们分享我们对未来研究方向的想法。

自我监督学习（SSL）是一种通过利用数据中固有的监督来学习数据表示的方法。这种学习方法是药物领域的焦点，由于耗时且昂贵的实验，缺乏带注释的数据。使用巨大未标记数据的SSL显示出在分子属性预测方面表现出色的性能，但存在一些问题。 （1）现有的SSL模型是大规模的；在计算资源不足的情况下实现SSL有限制。 （2）在大多数情况下，它们不利用3D结构信息进行分子表示学习。药物的活性与药物分子的结构密切相关。但是，大多数当前模型不使用3D信息或部分使用它。 （3）以前对分子进行对比学习的模型使用置换原子和键的增强。因此，具有不同特征的分子可以在相同的阳性样品中。我们提出了一个新颖的对比学习框架，用于分子属性预测的小规模3D图对比度学习（3DGCL），以解决上述问题。 3DGCL通过不改变药物语义的预训练过程来反映分子的结构来学习分子表示。仅使用1,128个样本用于预训练数据和100万个模型参数，我们在四个回归基准数据集中实现了最先进或可比性的性能。广泛的实验表明，基于化学知识的3D结构信息对于用于财产预测的分子表示学习至关重要。

由于标记的分子数量有限，预处理分子表示在药物和材料发现中的应用至关重要，但是大多数现有工作都集中在2D分子图上进行预处理。然而，对3D几何结构进行预处理的力量已经较少探索，因此难以找到足够的代理任务，以增强预训练的能力，从而有效地从几何结构中提取基本特征。由3D分子的动态性质激励，其中3D欧几里得空间中分子的连续运动形成平滑的势能表面，我们提出了一个3D坐标，以降级预处理框架来建模这种能量景观。利用SE（3） - 激烈的得分匹配方法，我们提出了SE（3）-DDM，其中坐标定位代理任务有效地归结为分子中成对原子距离的脱氧。我们的全面实验证实了我们提出的方法的有效性和鲁棒性。

分子特性预测是与关键现实影响的深度学习的增长最快的应用之一。包括3D分子结构作为学习模型的输入可以提高它们对许多分子任务的性能。但是，此信息是不可行的，可以以几个现实世界应用程序所需的规模计算。我们建议预先训练模型，以推理仅给予其仅为2D分子图的分子的几何形状。使用来自自我监督学习的方法，我们最大化3D汇总向量和图形神经网络（GNN）的表示之间的相互信息，使得它们包含潜在的3D信息。在具有未知几何形状的分子上进行微调期间，GNN仍然产生隐式3D信息，并可以使用它来改善下游任务。我们表明3D预训练为广泛的性质提供了显着的改进，例如八个量子力学性能的22％的平均MAE。此外，可以在不同分子空间中的数据集之间有效地传送所学习的表示。

变压器架构已成为许多域中的主导选择，例如自然语言处理和计算机视觉。然而，与主流GNN变体相比，它对图形水平预测的流行排行榜没有竞争表现。因此，它仍然是一个谜，变形金机如何对图形表示学习表现良好。在本文中，我们通过提出了基于标准变压器架构构建的Gragemer来解决这一神秘性，并且可以在广泛的图形表示学习任务中获得优异的结果，特别是在最近的OGB大规模挑战上。我们在图中利用变压器的关键洞察是有效地将图形的结构信息有效地编码到模型中。为此，我们提出了几种简单但有效的结构编码方法，以帮助Gramemormer更好的模型图形结构数据。此外，我们在数学上表征了Gramemormer的表现力，并展示了我们编码图形结构信息的方式，许多流行的GNN变体都可以被涵盖为GrameRormer的特殊情况。

Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.

生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符，从蛋白质相互作用，一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功，我们目睹了表现形式学习技术的快速扩展，进入了这些网络的建模，分析和学习。在这篇综述中，我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础，解释其当前的成功和限制，并告知未来进步。我们综合了一系列算法方法，即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中，并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性，单细胞的异心行为及其对健康的影响，协助患者的诊断和治疗以及制定安全有效的药物。

The prediction of protein structures from sequences is an important task for function prediction, drug design, and related biological processes understanding. Recent advances have proved the power of language models (LMs) in processing the protein sequence databases, which inherit the advantages of attention networks and capture useful information in learning representations for proteins. The past two years have witnessed remarkable success in tertiary protein structure prediction (PSP), including evolution-based and single-sequence-based PSP. It seems that instead of using energy-based models and sampling procedures, protein language model (pLM)-based pipelines have emerged as mainstream paradigms in PSP. Despite the fruitful progress, the PSP community needs a systematic and up-to-date survey to help bridge the gap between LMs in the natural language processing (NLP) and PSP domains and introduce their methodologies, advancements and practical applications. To this end, in this paper, we first introduce the similarities between protein and human languages that allow LMs extended to pLMs, and applied to protein databases. Then, we systematically review recent advances in LMs and pLMs from the perspectives of network architectures, pre-training strategies, applications, and commonly-used protein databases. Next, different types of methods for PSP are discussed, particularly how the pLM-based architectures function in the process of protein folding. Finally, we identify challenges faced by the PSP community and foresee promising research directions along with the advances of pLMs. This survey aims to be a hands-on guide for researchers to understand PSP methods, develop pLMs and tackle challenging problems in this field for practical purposes.

人工智能（AI）在过去十年中一直在改变药物发现的实践。各种AI技术已在广泛的应用中使用，例如虚拟筛选和药物设计。在本调查中，我们首先概述了药物发现，并讨论了相关的应用，可以减少到两个主要任务，即分子性质预测和分子产生。然后，我们讨论常见的数据资源，分子表示和基准平台。此外，为了总结AI在药物发现中的进展情况，我们介绍了在调查的论文中包括模型架构和学习范式的相关AI技术。我们预计本调查将作为有兴趣在人工智能和药物发现界面工作的研究人员的指南。我们还提供了GitHub存储库（HTTPS:///github.com/dengjianyuan/survey_survey_au_drug_discovery），其中包含文件和代码，如适用，作为定期更新的学习资源。