我们介绍了一种基于识别范围模型（RPM）的概率无监督学习方法的新方法：一种归一化的半参数假设类别，用于观察到的和潜在变量的联合分布。在关键的假设下，观察值在有条件地独立的情况下，rpm直接编码“识别”过程，从而在观测值的情况下参数参数既参数潜在的潜在分布及其条件分布。该识别模型与每个观察到的变量的边际分布的非参数描述配对。因此，重点是学习一种良好的潜在表示，该表示可以捕获测量值之间的依赖性。 RPM允许在具有离散潜在的设置和可牵引力的设置中进行精确的最大似然学习，即使连续观测和潜在的映射是通过灵活的模型（例如神经网络）表示的。我们开发有效的近似值，以具有可拖动先验的连续潜在变量。与诸如Helmholtz机器和变异自动编码器之类的双聚材料模型中所需的近似值不同，这些RPM近似仅引入次要偏置，这些偏置通常可能渐近地消失。此外，在潜在的先验上的棘手中，RPM可以与标准概率技术（例如变异贝叶斯）有效结合。我们在高维数据设置中演示了该模型，包括对MNIST数字的弱监督学习形式以及从感觉观察发现潜在地图的形式。 RPM提供了一种有效的方法来发现，代表和理由关于观察数据的潜在结构，即对动物和人工智能至关重要的功能。
translated by 谷歌翻译
无监督学习的一个关键目标是超越密度估计和样本生成，以揭示观察到的数据内固有的结构。这种结构可以用通过概率图形模型捕获的解释性潜在变量之间的相互作用模式表示。尽管结构化图形模型的学习历史悠久，但无监督模型中的许多最新工作都强调了灵活的基于深网的生成，要么将独立的潜在发电机转换为建模复杂数据，要么假设明显的观察到的变量来自不同的潜在节点。在这里，我们扩展了摊销的变异推理的输出，以在多个变量上纳入结构化因子，能够捕获观察到的潜在的后依赖潜在，从而导致“解释解释”，从而允许复杂的观察结果取决于结构性图的多个节点。我们表明，适当的参数化因子可以有效地与精美的图形结构中的变异消息合并。我们基于高斯过程因子分析模型实例化框架，并通过经验评估其对具有已知生成过程的合成数据的现有方法的改进。然后，我们将结构化模型拟合到来自自由移动啮齿动物海马的高维神经尖峰时间序列，表明该模型识别出与行为协变量相关的潜在信号。
translated by 谷歌翻译
我们提出了一个基于最小描述长度（MDL）原理的多任务加固学习的新颖框架。在我们称MDL-Control（MDL-C）的这种方法中，代理商在面临的任务中学习了共同的结构，然后将其提炼成更简单的表示，从而促进更快的收敛性和对新任务的概括。这样一来，MDL-C自然将适应性适应与任务分布的认知不确定性平衡。我们通过MDL原理与贝叶斯推论之间的正式联系来激励MDL-C，得出理论性能保证，并在离散和高维连续控制任务上证明了MDL-C的经验有效性。从经验上讲，该框架用于修改现有的策略优化方法，并在离散和高维连续控制问题中改善其多任务性能。
translated by 谷歌翻译
使用加强，监督和无监督学习培训的人工神经系统培训全部获取高维输入的内部表示。这些表现在多大程度上取决于不同的学习目标在很大程度上是未知的。在这里，我们将八个不同的卷积神经网络学到的表示，每个都具有相同的reset架构，并在同一个自我图像的图像上培训，而是嵌入在不同的学习系统中。具体地，培训表示以在复合增强学习任务中引导动作;预测三个与监督有三个任务相关目标的组合;或者使用三种不同无监督的目标之一。使用代表性相似性分析，我们发现，通过加强学习培训的网络与其他网络的不同之处不同。通过进一步的分析，使用由神经科学文献的灵感的度量，我们发现用加强学习训练的模型具有稀疏和高维表示，其中单个图像用非常不同的神经活动模式表示。进一步的分析表明，这些陈述可能出现，以指导在RL代理中的长期行为和目标寻求。我们的结果提供了探讨神经表征的特性如何受目标职能影响，并可以告知转移学习方法。
translated by 谷歌翻译
动物和人工代理商都受益于支持跨任务的快速学习的国家表示，使他们能够有效地遍历其环境以获得奖励状态。在固定政策下衡量预期累积，贴现国家占用的后续代表（SR），可以在否则的马尔可维亚环境中有效地转移到不同的奖励结构，并假设生物行为和神经活动的基础方面。然而，在现实世界中，奖励可能会移动或仅用于消费一次，可能只是将位置或者代理可以简单地旨在尽可能快地到达目标状态，而不会产生人工强加的任务视野的约束。在这种情况下，最具行为相关的代表将携带有关代理人可能首先达到兴趣国的信息的信息，而不是在可能的无限时间跨度访问它们的频率。为了反映此类需求，我们介绍了第一次占用代表（FR），该代表（FR），该代表（FR）衡量预期的时间折扣首次访问状态。我们证明FR有助于探索，选择有效的路径到所需状态，允许代理在某些条件下规划由一系列子板定义的可透明的最佳轨迹，并引起避免威胁刺激的动物类似的行为。
translated by 谷歌翻译
我们提出了一种方法，用于在主动电分布网络中考虑使用脆弱节点识别的最佳DERS分配，并将这些节点命名为关键节点。这些关键节点的功率变化将显着影响其他链接节点的运行，因此这些节点适合使用，并且认为最适合DERS放置。我们在标准的IEEE-123测试馈线系统中证明了我们的方法评估。最初，我们使用图理论将分布系统划分为最佳微电网网络。使用图神经网络体系结构对分区进行了验证，以适当形成微电网。此外，使用有效的可测量分析（例如Granger因果关系），我们确定了分区的微电网中的关键节点和在这些节点上的DERS放置，从而提高了网络可靠性和弹性。此外，为了验证系统性能和能量弹性，我们计算了微电网网络的渗透阈值，该网络指示了在这些关键节点上掺入DER后系统弹性。这项提出的有关首先的方法可确保通过分布网络中数据驱动的分析方法来确定有效的微电网分配，关键节点的识别，最佳DERS分配和系统弹性评估。
translated by 谷歌翻译
GAN的进展使高分辨率的感性质量形象产生了产生。 stylegans允许通过数学操作对W/W+空间中的潜在样式向量进行数学操作进行引人入胜的属性修改，从而有效调节生成器的丰富层次结构表示。最近，此类操作已被推广到原始StyleGan纸中的属性交换之外，以包括插值。尽管StyleGans有许多重大改进，但仍被认为会产生不自然的图像。生成的图像的质量基于两个假设。 （a）生成器学到的层次表示的丰富性，以及（b）样式空间的线性和平滑度。在这项工作中，我们提出了一个层次的语义正常化程序（HSR），该层次正常化程序将生成器学到的层次表示与大量数据学到的相应的强大功能保持一致。 HSR不仅可以改善发电机的表示，还可以改善潜在风格空间的线性和平滑度，从而导致产生更自然的样式编辑的图像。为了证明线性改善，我们提出了一种新型的度量 - 属性线性评分（ALS）。通过改善感知路径长度（PPL）度量的改善，在不同的标准数据集中平均16.19％的不自然图像的生成显着降低，同时改善了属性编辑任务中属性变化的线性变化。
translated by 谷歌翻译
在本文中，我们描述了一种表示音频信号的表示方法，以实现COVID-19检测任务。将原始音频样品用1D卷积过滤器进行处理，这些过滤器被参数化为余弦调制的高斯函数。这些内核的选择允许将滤纸解释为光滑的带通滤波器。过滤后的输出汇总，对数压缩并用于基于自我注意的相关加权机制。相关权重强调了时间频分解的关键区域，这对于下游任务很重要。该模型的后续层由复发架构组成，模型经过训练，以执行COVID-19检测任务。在我们对COSWARA数据集的实验中，我们表明，所提出的模型在基线系统以及其他表示学习方法上实现了显着的性能改进。此外，提出的方法被证明适用于语音和呼吸信号以及从较大的数据集中转移学习。
translated by 谷歌翻译
该报告描述了用于在第二次DICOVA挑战中使用三种不同的声学模态（即语音，呼吸和咳嗽）来检测COVID-19阳性的系统。所提出的系统基于4种不同方法的组合，每种方法都集中在问题的一个方面上，并在呼吸，咳嗽和语音轨道上分别达到86.41、77.60和84.55的盲试AUC，并且这三个轨道的融合中的AUC为85.37。
translated by 谷歌翻译
受到计算机视觉的自我监督学习的最新进展的启发，在本文中，我们介绍了Delores，这是一种新的通用音频表示方法。我们的主要目标是使我们的网络学习在资源受限的设置（数据和计算）中，可以很好地跨越各种下游任务。受Barlow Twins目标功能的启发，我们建议学习对输入音频样本失真不变的嵌入，同时确保它们包含有关样本的非冗余信息。为此，我们测量了两个相同的网络的输出之间的互相关矩阵，该网络用从音频文件采样的音频段的变形版本中，使其尽可能接近身份矩阵。我们将大规模音频集数据集和FSD50K的一小部分组合用于自学学习，并且与最先进的算法相比，参数的一半不到一半。为了进行评估，我们将这些学习的表示形式转移到9个下游分类任务，包括语音，音乐和动物声音，并在不同的评估设置下显示竞争结果。除了简单明了，我们的预训练算法还可以通过其固有的构造本质来计算，并且不需要仔细的实施细节以避免琐碎或退化的解决方案。此外，我们对结果进行消融研究，并使我们的所有代码和预培训模型公开可用https://github.com/speech-lab-iitm/delores。
translated by 谷歌翻译