分子特性预测的深度学习模型的研究主要集中在更好的图形神经网络（GNN）架构的发展。虽然新的GNN变体继续提高性能，但它们的修改共享一个常见的主题，即减轻其基本图形到图形的内在内在的问题。在这项工作中，我们研究了这些限制，并提出了一种新的分子表现，可以完全绕过GNN的需求。与变压器模型配对时，我们的固定尺寸随机表示超出了最先进的GNN模型的性能，并提供了一种可扩展性的路径。

A generalized understanding of protein dynamics is an unsolved scientific problem, the solution of which is critical to the interpretation of the structure-function relationships that govern essential biological processes. Here, we approach this problem by constructing coarse-grained molecular potentials based on artificial neural networks and grounded in statistical mechanics. For training, we build a unique dataset of unbiased all-atom molecular dynamics simulations of approximately 9 ms for twelve different proteins with multiple secondary structure arrangements. The coarse-grained models are capable of accelerating the dynamics by more than three orders of magnitude while preserving the thermodynamics of the systems. Coarse-grained simulations identify relevant structural states in the ensemble with comparable energetics to the all-atom systems. Furthermore, we show that a single coarse-grained potential can integrate all twelve proteins and can capture experimental structural features of mutated proteins. These results indicate that machine learning coarse-grained potentials could provide a feasible approach to simulate and understand protein dynamics.

In recent years, the task of Automatic Music Transcription (AMT), whereby various attributes of music notes are estimated from audio, has received increasing attention. At the same time, the related task of Multi-Pitch Estimation (MPE) remains a challenging but necessary component of almost all AMT approaches, even if only implicitly. In the context of AMT, pitch information is typically quantized to the nominal pitches of the Western music scale. Even in more general contexts, MPE systems typically produce pitch predictions with some degree of quantization. In certain applications of AMT, such as Guitar Tablature Transcription (GTT), it is more meaningful to estimate continuous-valued pitch contours. Guitar tablature has the capacity to represent various playing techniques, some of which involve pitch modulation. Contemporary approaches to AMT do not adequately address pitch modulation, and offer only less quantization at the expense of more model complexity. In this paper, we present a GTT formulation that estimates continuous-valued pitch contours, grouping them according to their string and fret of origin. We demonstrate that for this task, the proposed method significantly improves the resolution of MPE and simultaneously yields tablature estimation results competitive with baseline models.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

我们定义了一个新颖的神经符号框架，论证奖励学习，该奖励学习将基于偏好的论点与现有方法结合了从人类反馈中加强学习的方法。我们的方法通过概括人类的偏好，减轻用户的负担并增加奖励模型的鲁棒性来改善先前的工作。我们通过许多实验证明了这一点。

反事实风险最小化是通过记录数据组成的脱机策略优化的框架，该数据由上下文，动作，倾向得分和每个样本点的奖励组成。在这项工作中，我们以此框架为基础，并为未观察到某些样本的奖励的设置提出了一种学习方法，因此记录的数据由具有未知奖励的样本子集和具有已知奖励的样本子集。此设置在许多应用领域，包括广告和医疗保健。虽然某些样本缺少奖励反馈，但可以利用未知的奖励样本来最大程度地降低风险，我们将此设置称为半遇到事实风险的最小化。为了解决这种学习问题，我们在反相反分数估计器下的真实风险中得出了新的上限。然后，我们基于这些界限，提出了一种正规化的反事实风险最小化方法，该方法仅基于已记录的未知奖励数据集；因此，这是奖励独立的。我们还提出了另一种算法，该算法基于为已记录的未知奖励数据集生成伪奖励。神经网络和基准数据集的实验结果表明，除了已记录已知的奖励数据集外，这些算法可以利用已记录的未知奖励数据集。

反事实解释（CFXS）的使用是机器学习模型越来越流行的解释策略。但是，最近的研究表明，这些解释可能对基础模型的变化（例如，在重新培训之后）的变化可能并不强大，这引发了有关其在现实世界应用中的可靠性的问题。现有的解决此问题的尝试是启发式方法，仅使用少量的重新培训模型来评估所得CFXS的模型变化的鲁棒性，未能提供详尽的保证。为了解决这个问题，我们提出了第一个概念，以正式和确定性地评估神经网络的CFX的鲁棒性（建模更改），我们称为{\ delta} - bubustness。我们引入了基于间隔神经网络的抽象框架，以验证CFXS的{\ delta} - 固定性，以实现模型参数（即权重和偏见）的无限更改。然后，我们以两种不同的方式演示了这种方法的实用性。首先，我们分析了文献中许多CFX生成方法的{\ delta} - 固定性，并表明它们在这方面一致占据了明显的缺陷。其次，我们演示了如何在现有方法中嵌入{\ delta} - bobustness可以提供可证明可靠的CFX。

最近的工作表明了与解释一致的问题，其方法生成了局部解释，这些解释在实例方面似乎是合理的，但在整个实例中都是不一致的。这不仅表明实例解释可能是不可靠的，而且主要是，当通过多个输入与系统交互时，用户实际上可能会失去对系统的信心。为了更好地分析此问题，在这项工作中，我们将解释视为可能受到推理的对象，并通过输入，输出和解释的序列，对用户和系统之间的交互式场景进行正式模型。我们认为，可以将解释视为承诺某种模型行为（即使只有表面上的表面），这表明了一种形式，我们认为应该将其视为非单调的。这允许：1）在解释中解决了一些考虑的不一致之处，例如通过特异性关系； 2）考虑非单调推理文献中的属性并讨论其可取性，从而对互动解释方案有了更多的了解。

最近的研究表明，神经网络有可能改善经典生存模型，例如COX模型，Cox模型广泛用于临床实践。但是，神经网络通常依赖于中心可用的数据，而医疗保健数据经常在安全筒仓中保存。我们提出了一个联合的COX模型，该模型可容纳此数据设置并放松比例危害假设，从而允许时间变化的协变量效应。在后一方面，我们的模型不需要明确的时间变化效果，而与以前的工作相比降低了前期组织成本。我们尝试使用公开可用的临床数据集，并证明联合模型能够像标准模型一样执行。

诗歌的语音综合是由于诗意语音固有的特定语调模式而具有挑战性的。在这项工作中，我们提出了一种将诗歌与几乎像人类一样自然的综合诗作的方法，以使文学学者能够系统地检查有关文本，口头实现和听众对诗歌的相互作用的假设。为了满足文学研究的这些特殊要求，我们通过从人类参考朗诵中克隆韵律价值来重新合成诗，然后利用细粒度的韵律控制来操纵在人类的环境中的合成语音以改变朗诵W.R.T.具体现象。我们发现，对诗歌的TTS模型进行鉴定会在很大程度上捕捉诗歌语调模式，这对韵律克隆和操纵是有益的，并在客观评估和人类研究中都验证了我们方法的成功。