我们提出了Metricbert，这是一个基于BERT的模型，该模型学会了以明确的相似性度量嵌入文本，同时遵守``传统''蒙面语言任务。我们专注于学习相似之处的下游任务，以表明公制表现优于最先进的替代方案，有时要大幅度。我们对我们的方法及其不同的变体进行了广泛的评估，这表明我们的训练目标对传统的对比损失，标准余弦相似性目标和其他六个基线非常有益。作为另一个贡献，我们发布了视频游戏描述的数据集，以及由域专家制作的一系列相似性注释。
translated by 谷歌翻译
最近，人们对基于变压器的模型产生有意义的文本嵌入的能力越来越兴趣，例如文本相似性。尽管该领域取得了重大进展，但相似性预测的解释仍然具有挑战性，尤其是在无监督的环境中。在这项工作中，我们提出了一种无监督的技术，用于解释预先训练的BERT模型推断出的段落相似性。通过查看一对段落，我们的技术确定了决定每个段落的语义的重要单词，在这两个段落中的单词之间匹配，并检索解释两者之间相似性的最重要对。该方法已通过广泛的人类评估进行了评估，并在包含长期复杂段落的数据集中证明了这一方法，已显示出巨大的希望，提供了与人类看法更好相关的准确解释。
translated by 谷歌翻译
在计算机视觉中，对现实世界图像的自我监督，类别不足的分割是一个具有挑战性的开放问题。在这里，我们通过基于Spelke对象的认知科学概念来展示如何从运动自学学习中学习静态分组先验：一组可以一起移动的物理内容。我们介绍了兴奋性抑制段提取网络（EISEN），该网络学会从基于运动的训练信号中提取成对的亲和力图，以供静态场景。然后，艾森使用新颖的图形传播和竞争网络从亲和力产生细分市场。在训练过程中，进行相关运动的对象（例如机器人臂和移动的对象）被引导过程解耦：Eisen解释了它已经学会了细分的对象的运动。我们表明，艾森（Eisen）在挑战合成和现实世界的机器人数据集上进行了自我监督的图像分割方面取得了重大改进。
translated by 谷歌翻译
由于它们在元素之间代表复杂互动的能力，变压器已成为许多应用中的选择方法。然而，将变压器架构扩展到非顺序数据，例如分子，并使其对小型数据集的训练仍然是一个挑战。在这项工作中，我们引入了一种用于分子性能预测的基于变压器的架构，其能够捕获分子的几何形状。我们通过分子几何形状的初始编码来修改经典位置编码器，以及学习的门控自我关注机制。我们进一步提出了一种增强方案，用于避免通过过次分辨率的架构引起的过度拟合的分子数据。所提出的框架优于最先进的方法，同时仅基于纯机器学习，即，即该方法不包含量子化学的域知识，并且在成对原子距离旁边没有使用延伸的几何输入。
translated by 谷歌翻译
由于其成功在从稀疏的输入图像集合中合成了场景的新颖视图，最近越来越受欢迎。到目前为止，通过通用密度函数建模了神经体积渲染技术的几何形状。此外，使用通向嘈杂的任意水平函数的任意水平集合来提取几何形状本身，通常是低保真重建。本文的目标是改善神经体积渲染中的几何形象和重建。我们通过将体积密度建模为几何形状来实现这一点。这与以前的工作与体积密度的函数建模几何。更详细地，我们将音量密度函数定义为Laplace的累积分发功能（CDF）应用于符号距离功能（SDF）表示。这种简单的密度表示有三个好处：（i）它为神经体积渲染过程中学到的几何形状提供了有用的电感偏差; （ii）它促进了缺陷近似误差的束缚，导致观看光线的准确采样。精确的采样对于提供几何和光线的精确耦合非常重要; （iii）允许高效无监督的脱位形状和外观在体积渲染中。将此新密度表示应用于具有挑战性的场景多视图数据集生产了高质量的几何重建，表现优于相关的基线。此外，由于两者的解剖学，场景之间的切换形状和外观是可能的。
translated by 谷歌翻译
In this work we address the challenging problem of multiview 3D surface reconstruction. We introduce a neural network architecture that simultaneously learns the unknown geometry, camera parameters, and a neural renderer that approximates the light reflected from the surface towards the camera. The geometry is represented as a zero level-set of a neural network, while the neural renderer, derived from the rendering equation, is capable of (implicitly) modeling a wide set of lighting conditions and materials. We trained our network on real world 2D images of objects with different material properties, lighting conditions, and noisy camera initializations from the DTU MVS dataset. We found our model to produce state of the art 3D surface reconstructions with high fidelity, resolution and detail.
translated by 谷歌翻译