药物目标亲和力（DTA）预测是药物发现和药物研究的重要任务。 DTA的准确预测可以极大地受益于新药的设计。随着湿实验的昂贵且耗时，DTA预测的监督数据非常有限。这严重阻碍了基于深度学习的方法的应用，这些方法需要大量的监督数据。为了应对这一挑战并提高DTA预测准确性，我们在这项工作中提出了一个具有几种简单但有效的策略的框架：（1）多任务培训策略，该策略将DTA预测和蒙版语言建模（MLM）任务采用配对的药品目标数据集； （2）一种半监督的训练方法，通过利用大规模的未配对分子和蛋白质来赋予药物和靶向代表性学习，这与以前仅利用仅利用预训练的预训练和微调方法，这些方法仅利用前培训和微调方法训练; （3）一个交叉意见模块，以增强药物和靶代表性之间的相互作用。在三个现实世界基准数据集上进行了广泛的实验：BindingDB，Davis和Kiba。结果表明，我们的框架大大优于现有方法，并实现最先进的性能，例如，$ 0.712 $ rmse在bindingdb ic $ _ {50} $测量上，比以前的最佳工作要改善了$ 5 \％。此外，关于特定药物目标结合活动，药物特征可视化和现实世界应用的案例研究证明了我们工作的巨大潜力。代码和数据在https://github.com/qizhipei/smt-dta上发布

预测药物目标相互作用是药物发现的关键。最近基于深度学习的方法显示出令人鼓舞的表现，但仍有两个挑战：（i）如何明确建模并学习药物与目标之间的局部互动，以更好地预测和解释； （ii）如何从不同分布的新型药物目标对上概括预测性能。在这项工作中，我们提出了Dugban，这是一个深层双线性注意网络（BAN）框架，并适应了域的适应性，以明确学习药物与目标之间的配对局部相互作用，并适应了分布数据外的数据。 Dugban在药物分子图和靶蛋白序列上进行预测的作品，有条件结构域对抗性学习，以使跨不同分布的学习相互作用表示，以更好地对新型药物目标对进行更好的概括。在内域和跨域设置下，在三个基准数据集上进行的实验表明，对于五个最先进的基准，Dugban取得了最佳的总体表现。此外，可视化学习的双线性注意图图提供了可解释的见解，从预测结果中提供了可解释的见解。

蛋白质 - 配体相互作用（PLIS）是生化研究的基础，其鉴定对于估计合理治疗设计的生物物理和生化特性至关重要。目前，这些特性的实验表征是最准确的方法，然而，这是非常耗时和劳动密集型的。在这种情况下已经开发了许多计算方法，但大多数现有PLI预测大量取决于2D蛋白质序列数据。在这里，我们提出了一种新颖的并行图形神经网络（GNN），以集成PLI预测的知识表示和推理，以便通过专家知识引导的深度学习，并通过3D结构数据通知。我们开发了两个不同的GNN架构，GNNF是采用不同特种的基础实现，以增强域名认识，而GNNP是一种新颖的实现，可以预测未经分子间相互作用的先验知识。综合评价证明，GNN可以成功地捕获配体和蛋白质3D结构之间的二元相互作用，对于GNNF的测试精度和0.958，用于预测蛋白质 - 配体络合物的活性。这些模型进一步适用于回归任务以预测实验结合亲和力，PIC50对于药物效力和功效至关重要。我们在实验亲和力上达到0.66和0.65的Pearson相关系数，分别在PIC50和GNNP上进行0.50和0.51，优于基于2D序列的模型。我们的方法可以作为可解释和解释的人工智能（AI）工具，用于预测活动，效力和铅候选的生物物理性质。为此，我们通过筛选大型复合库并将我们的预测与实验测量数据进行比较来展示GNNP对SARS-COV-2蛋白靶标的实用性。

作为药物开发的必要过程，找到可以选择性地与特定蛋白质结合的药物化合物是高度挑战性和昂贵的。代表药物目标相互作用（DTI）强度的药物目标亲和力（DTA）在过去十年中在DTI预测任务中发挥了重要作用。尽管已将深度学习应用于与DTA相关的研究，但现有的解决方案忽略了分子亚结构之间的基本相关性，在分子代表学习药物化合物分子/蛋白质靶标之间。此外，传统方法缺乏DTA预测过程的解释性。这导致缺少分子间相互作用的特征信息，从而影响预测性能。因此，本文提出了一种使用交互式学习和自动编码器机制的DTA预测方法。提出的模型增强了通过药物/蛋白质分子表示学习模块捕获单个分子序列的特征信息的相应能力，并通过交互式信息学习模块补充了分子序列对之间的信息相互作用。 DTA值预测模块融合了药物目标对相互作用信息，以输出DTA的预测值。此外，从理论上讲，本文提出的方法最大化了DTA预测模型联合分布的证据下限（ELBO），从而增强了实际值和预测值之间概率分布的一致性。实验结果证实了相互变压器 - 药物目标亲和力（MT-DTA）的性能比其他比较方法更好。

动机：针对感兴趣的蛋白质的新颖化合物的发展是制药行业中最重要的任务之一。深层生成模型已应用于靶向分子设计，并显示出令人鼓舞的结果。最近，靶标特异性分子的产生被视为蛋白质语言与化学语言之间的翻译。但是，这种模型受相互作用蛋白质配对的可用性的限制。另一方面，可以使用大量未标记的蛋白质序列和化学化合物，并已用于训练学习有用表示的语言模型。在这项研究中，我们提出了利用预审核的生化语言模型以初始化（即温暖的开始）目标分子产生模型。我们研究了两种温暖的开始策略：（i）一种一阶段策略，其中初始化模型是针对靶向分子生成（ii）的两阶段策略进行培训的，该策略包含对分子生成的预处理，然后进行目标特定训练。我们还比较了两种生成化合物的解码策略：光束搜索和采样。结果：结果表明，温暖启动的模型的性能优于从头开始训练的基线模型。相对于基准广泛使用的指标，这两种拟议的温暖启动策略相互取得了相似的结果。然而，对许多新蛋白质生成的化合物进行对接评估表明，单阶段策略比两阶段策略更好地概括了。此外，我们观察到，在对接评估和基准指标中，梁搜索的表现优于采样，用于评估复合质量。可用性和实施​​：源代码可在https://github.com/boun-tabi/biochemical-lms-for-drug-design和材料中获得，并在Zenodo归档，网址为https://doi.org/10.5281/zenodo .6832145

在三维分子结构上运行的计算方法有可能解决生物学和化学的重要问题。特别地，深度神经网络的重视，但它们在生物分子结构域中的广泛采用受到缺乏系统性能基准或统一工具包的限制，用于与分子数据相互作用。为了解决这个问题，我们呈现Atom3D，这是一个新颖的和现有的基准数据集的集合，跨越几个密钥的生物分子。我们为这些任务中的每一个实施多种三维分子学习方法，并表明它们始终如一地提高了基于单维和二维表示的方法的性能。结构的具体选择对于性能至关重要，具有涉及复杂几何形状的任务的三维卷积网络，在需要详细位置信息的系统中表现出良好的图形网络，以及最近开发的设备越多的网络显示出显着承诺。我们的结果表明，许多分子问题符合三维分子学习的增益，并且有可能改善许多仍然过分曝光的任务。为了降低进入并促进现场进一步发展的障碍，我们还提供了一套全面的DataSet处理，模型培训和在我们的开源ATOM3D Python包中的评估工具套件。所有数据集都可以从https://www.atom3d.ai下载。

现在，我们目睹了深度学习方法在各种蛋白质（或数据集）中的重大进展。但是，缺乏评估不同方法的性能的标准基准，这阻碍了该领域的深度学习进步。在本文中，我们提出了一种称为PEER的基准，这是一种用于蛋白质序列理解的全面和多任务基准。 PEER提供了一组不同的蛋白质理解任务，包括蛋白质功能预测，蛋白质定位预测，蛋白质结构预测，蛋白质 - 蛋白质相互作用预测和蛋白质 - 配体相互作用预测。我们评估每个任务的不同类型的基于序列的方法，包括传统的特征工程方法，不同的序列编码方法以及大规模的预训练蛋白质语言模型。此外，我们还研究了这些方法在多任务学习设置下的性能。实验结果表明，大规模的预训练蛋白质语言模型可实现大多数单个任务的最佳性能，共同训练多个任务进一步提高了性能。该基准的数据集和源代码均可在https://github.com/deepgraphlearning/peer_benchmark上获得

在药物发现中，具有所需生物活性的新分子的合理设计是一项至关重要但具有挑战性的任务，尤其是在治疗新的靶家庭或研究靶标时。在这里，我们提出了PGMG，这是一种用于生物活化分子产生的药效团的深度学习方法。PGMG通过药理的指导提供了一种灵活的策略，以使用训练有素的变异自动编码器在各种情况下生成具有结构多样性的生物活性分子。我们表明，PGMG可以在给定药效团模型的情况下生成匹配的分子，同时保持高度的有效性，独特性和新颖性。在案例研究中，我们证明了PGMG在基于配体和基于结构的药物从头设计以及铅优化方案中生成生物活性分子的应用。总体而言，PGMG的灵活性和有效性使其成为加速药物发现过程的有用工具。

蛋白质 - 蛋白质相互作用（PPI）对于许多生物过程至关重要，其中两种或更多种蛋白质物理地结合在一起以实现其功能。建模PPI对许多生物医学应用有用，例如疫苗设计，抗体治疗和肽药物发现。预先训练蛋白质模型以学习有效的代表对于PPI至关重要。对于PPI的大多数预训练模型是基于序列的，这是基于序列的，该模型是基于氨基酸序列的自然语言处理中使用的语言模型。更先进的作品利用结构感知的预训练技术，利用已知蛋白质结构的联系地图。然而，既不是序列和联系地图都可以完全表征蛋白质的结构和功能，这与PPI问题密切相关。灵感来自这种洞察力，我们提出了一种具有三种方式的多模式蛋白质预训练模型：序列，结构和功能（S2F）。值得注意的是，而不是使用联系地图来学习氨基酸水平刚性结构，而是用重度原子的点云的拓扑复合物编码结构特征。它允许我们的模型不仅仅是基于底部的结构信息，还可以了解侧链。此外，我们的模型包括从文献或手动注释中提取的蛋白质的功能描述中的知识。我们的实验表明，S2F学习蛋白质嵌入物，在包括各种PPI，包括跨物种PPI，抗体 - 抗原亲和预测，抗体中和对SARS-COV-2的抗体中和预测的蛋白质嵌入，以及突变驱动的结合亲和力变化预测。

虽然最近在许多科学领域都变得无处不在，但对其评估的关注较少。对于分子生成模型，最先进的是孤立或与其输入有关的输出。但是，它们的生物学和功能特性（例如配体 - 靶标相互作用）尚未得到解决。在这项研究中，提出了一种新型的生物学启发的基准，用于评估分子生成模型。具体而言，设计了三个不同的参考数据集，并引入了与药物发现过程直接相关的一组指标。特别是我们提出了一个娱乐指标，将药物目标亲和力预测和分子对接应用作为评估生成产量的互补技术。虽然所有三个指标均在测试的生成模型中均表现出一致的结果，但对药物目标亲和力结合和分子对接分数进行了更详细的比较，表明单峰预测器可能会导致关于目标结合在分子水平和多模式方法的错误结论，而多模式的方法是错误的结论。因此优选。该框架的关键优点是，它通过明确关注配体 - 靶标相互作用，将先前的物理化学域知识纳入基准测试过程，从而创建了一种高效的工具，不仅用于评估分子生成型输出，而且还用于丰富富含分子生成的输出。一般而言，药物发现过程。

准确的蛋白质结合亲和力预测在药物设计和许多其他分子识别问题中至关重要。尽管基于机器学习技术的亲和力预测取得了许多进步，但由于蛋白质 - 配体结合取决于原子和分子的动力学，它们仍然受到限制。为此，我们策划了一个包含3,218个动态蛋白质配合物的MD数据集，并进一步开发了DynaFormer，这是一个基于图的深度学习框架。 DynaFormer可以通过考虑相互作用的各种几何特征来完全捕获动态结合规则。我们的方法显示出优于迄今报告的方法。此外，我们通过将模型与基于结构的对接整合在一起，对热休克蛋白90（HSP90）进行了虚拟筛选。我们对其他基线进行了基准测试，表明我们的方法可以鉴定具有最高实验效力的分子。我们预计大规模的MD数据集和机器学习模型将形成新的协同作用，为加速药物发现和优化提供新的途径。

由于肿瘤的异质性，在个性化的基础上预测抗癌药物的临床结局在癌症治疗中具有挑战性。已经采取了传统的计算努力来建模药物反应对通过其分子概况描绘的单个样品的影响，但由于OMICS数据的高维度而发生过度拟合，因此阻碍了临床应用的模型。最近的研究表明，深度学习是通过学习药物和样品之间的学习对准模式来建立药物反应模型的一种有前途的方法。但是，现有研究采用了简单的特征融合策略，仅考虑了整个药物特征，同时忽略了在对齐药物和基因时可能起着至关重要的作用的亚基信息。特此在本文中，我们提出了TCR（基于变压器的癌症药物反应网络），以预测抗癌药物反应。通过利用注意机制，TCR能够在我们的研究中有效地学习药物原子/子结构和分子特征之间的相互作用。此外，设计了双重损耗函数和交叉抽样策略，以提高TCR的预测能力。我们表明，TCR在所有评估矩阵上（一些具有显着改进）的各种数据分裂策略下优于所有其他方法。广泛的实验表明，TCR在独立的体外实验和体内实际患者数据上显示出显着提高的概括能力。我们的研究强调了TCR的预测能力及其对癌症药物再利用和精度肿瘤治疗的潜在价值。

Models based on machine learning can enable accurate and fast molecular property predictions, which is of interest in drug discovery and material design. Various supervised machine learning models have demonstrated promising performance, but the vast chemical space and the limited availability of property labels make supervised learning challenging. Recently, unsupervised transformer-based language models pretrained on a large unlabelled corpus have produced state-of-the-art results in many downstream natural language processing tasks. Inspired by this development, we present molecular embeddings obtained by training an efficient transformer encoder model, MoLFormer, which uses rotary positional embeddings. This model employs a linear attention mechanism, coupled with highly distributed training, on SMILES sequences of 1.1 billion unlabelled molecules from the PubChem and ZINC datasets. We show that the learned molecular representation outperforms existing baselines, including supervised and self-supervised graph neural networks and language models, on several downstream tasks from ten benchmark datasets. They perform competitively on two others. Further analyses, specifically through the lens of attention, demonstrate that MoLFormer trained on chemical SMILES indeed learns the spatial relationships between atoms within a molecule. These results provide encouraging evidence that large-scale molecular language models can capture sufficient chemical and structural information to predict various distinct molecular properties, including quantum-chemical properties.

Geometric deep learning has recently achieved great success in non-Euclidean domains, and learning on 3D structures of large biomolecules is emerging as a distinct research area. However, its efficacy is largely constrained due to the limited quantity of structural data. Meanwhile, protein language models trained on substantial 1D sequences have shown burgeoning capabilities with scale in a broad range of applications. Nevertheless, no preceding studies consider combining these different protein modalities to promote the representation power of geometric neural networks. To address this gap, we make the foremost step to integrate the knowledge learned by well-trained protein language models into several state-of-the-art geometric networks. Experiments are evaluated on a variety of protein representation learning benchmarks, including protein-protein interface prediction, model quality assessment, protein-protein rigid-body docking, and binding affinity prediction, leading to an overall improvement of 20% over baselines and the new state-of-the-art performance. Strong evidence indicates that the incorporation of protein language models' knowledge enhances geometric networks' capacity by a significant margin and can be generalized to complex tasks.

鉴定新型药物靶标相互作用（DTI）是药物发现中的关键和速率限制步骤。虽然已经提出了深入学习模型来加速识别过程，但我们表明最先进的模型无法概括到新颖（即，从未见过的）结构上。我们首先揭示负责此缺点的机制，展示模型如何依赖于利用蛋白质 - 配体二分网络拓扑的捷径，而不是学习节点特征。然后，我们介绍AI-BIND，这是一个与无监督的预训练的基于网络的采样策略相结合的管道，使我们能够限制注释不平衡并改善新型蛋白质和配体的结合预测。我们通过预测具有结合亲和力的药物和天然化合物对SARS-COV-2病毒蛋白和相关的人蛋白质来说明Ai-reat的值。我们还通过自动扩展模拟和与最近的实验证据进行比较来验证这些预测。总体而言，AI-Bind提供了一种强大的高通量方法来识别药物目标组合，具有成为药物发现中强大工具的可能性。

Recently, deep learning approaches have been extensively studied for various problems in chemistry, such as property prediction, virtual screening, de novo molecule design, etc. Despite the impressive successes, separately designed networks for specific tasks are usually required for end-to-end training, so it is often difficult to acquire a unified principle to synergistically combine existing models and training datasets for novel tasks. To address this, here we present a novel multimodal chemical foundation model that can be used for various downstream tasks that require a simultaneous understanding of structure and property. Specifically, inspired by recent advances in pre-trained multi-modal foundation models such as Vision-Language Pretrained models (VLP), we proposed a novel structure-property multi-modal (SPMM) foundation model using the dual-stream transformer with X-shape attention, so that it can align the molecule structure and the chemical properties in a common embedding space. Thanks to the outstanding structure-property unimodal representation, experimental results confirm that SPMM can simultaneously perform molecule generation, property prediction, classification, reaction prediction, etc., which was previously not possible with a single architecture.

蛋白质RNA相互作用对各种细胞活性至关重要。已经开发出实验和计算技术来研究相互作用。由于先前数据库的限制，尤其是缺乏蛋白质结构数据，大多数现有的计算方法严重依赖于序列数据，只有一小部分使用结构信息。最近，alphafold彻底改变了整个蛋白质和生物领域。可预应学，在即将到来的年份，也将显着促进蛋白质-RNA相互作用预测。在这项工作中，我们对该字段进行了彻底的审查，调查绑定站点和绑定偏好预测问题，并覆盖常用的数据集，功能和模型。我们还指出了这一领域的潜在挑战和机遇。本调查总结了过去的RBP-RNA互动领域的发展，并预见到了alphafold时代未来的发展。

人工智能（AI）已被广泛应用于药物发现中，其主要任务是分子财产预测。尽管分子表示学习中AI技术的繁荣，但尚未仔细检查分子性质预测的一些关键方面。在这项研究中，我们对三个代表性模型，即随机森林，莫尔伯特和格罗弗进行了系统比较，该模型分别利用了三个主要的分子表示，扩展连接的指纹，微笑的字符串和分子图。值得注意的是，莫尔伯特（Molbert）和格罗弗（Grover）以自我监督的方式在大规模的无标记分子库中进行了预定。除了常用的分子基准数据集外，我们还组装了一套与阿片类药物相关的数据集进行下游预测评估。我们首先对标签分布和结构分析进行了数据集分析；我们还检查了阿片类药物相关数据集中的活动悬崖问题。然后，我们培训了4,320个预测模型，并评估了学习表示的有用性。此外，我们通过研究统计测试，评估指标和任务设置的效果来探索模型评估。最后，我们将化学空间的概括分解为施加间和支柱内的概括，并测量了预测性能，以评估两种设置下模型的普遍性。通过采取这种喘息，我们反映了分子财产预测的基本关键方面，希望在该领域带来更好的AI技术的意识。

通过生成模型生成具有特定化学和生物学特性的新分子已成为药物发现的有希望的方向。但是，现有的方法需要大型数据集进行广泛的培训/微调，在现实世界中通常无法使用。在这项工作中，我们提出了一个新的基于检索的框架，用于可控分子生成。我们使用一系列的示例分子，即（部分）满足设计标准的分子，以引导预先训练的生成模型转向满足给定设计标准的合成分子。我们设计了一种检索机制，该机制将示例分子与输入分子融合在一起，该分子受到一个新的自我监督目标训练，该目标可以预测输入分子的最近邻居。我们还提出了一个迭代改进过程，以动态更新生成的分子和检索数据库，以更好地泛化。我们的方法不可知生成模型，不需要特定于任务的微调。关于从简单设计标准到设计与SARS-COV-2主蛋白酶结合的铅化合物的具有挑战性的现实世界情景的各种任务，我们证明了我们的方法外推出了远远超出检索数据库，并且比检索数据库更高，并且比更高的性能和更广泛的适用性以前的方法。

Artificial intelligence (AI) in the form of deep learning bears promise for drug discovery and chemical biology, $\textit{e.g.}$, to predict protein structure and molecular bioactivity, plan organic synthesis, and design molecules $\textit{de novo}$. While most of the deep learning efforts in drug discovery have focused on ligand-based approaches, structure-based drug discovery has the potential to tackle unsolved challenges, such as affinity prediction for unexplored protein targets, binding-mechanism elucidation, and the rationalization of related chemical kinetic properties. Advances in deep learning methodologies and the availability of accurate predictions for protein tertiary structure advocate for a $\textit{renaissance}$ in structure-based approaches for drug discovery guided by AI. This review summarizes the most prominent algorithmic concepts in structure-based deep learning for drug discovery, and forecasts opportunities, applications, and challenges ahead.