大多数现代语言模型推断出强大的表示既缺乏组成性和语义解释性。从假设很大一部分语义内容是相关的，我们引入了一种神经语言模型，该模型从文本数据集中发现符号网络（Schemata）。使用变分自动编码器（VAE）框架，我们的模型将句子编码为符号序列（组合表示），这些句子对应于偏见的随机步行者在全局潜在图上访问的节点。然后将句子生成后面，以所选符号序列为条件。我们首先证明该模型能够从随机令牌序列的人为生成的数据集中发现地面图形。接下来，我们分别以编码器和解码器为编码，利用预估计的BERT和GPT-2语言模型来培训我们的模型在语言建模任务上。从定性上讲，我们的结果表明该模型能够推断编码自然语言不同方面的模式网络。从数量上讲，该模型在VAE语言建模基准测试基准上实现了最先进的分数。可以在https://github.com/ramsesjsf/hiddenschemanetworks上获得复制我们实验的源代码。
translated by 谷歌翻译