在过去的几年中，深度学习用于脑电图（EEG）分类任务一直在迅速增长，但其应用程序受到EEG数据集相对较小的限制。数据扩展包括在培训过程中人为地增加数据集的大小，它一直是在计算机视觉或语音等应用程序中获得最新性能的关键要素。尽管文献中已经提出了一些脑电图数据的增强转换，但它们对跨任务的绩效的积极影响仍然难以捉摸。在这项工作中，我们提出了对主要现有脑电图增强的统一和详尽的分析，该分析在常见的实验环境中进行了比较。我们的结果强调了为睡眠阶段分类和大脑计算机界面界面的最佳数据增强，在某些情况下显示预测功率改善大于10％。
translated by 谷歌翻译
数值验证是机器学习研究的核心，因为它允许评估新方法的实际影响，并确认理论和实践之间的一致性。然而，该领域的快速发展构成了一些挑战：研究人员面临着大量的方法来比较，有限的透明度和最佳实践的共识以及乏味的重新实施工作。结果，验证通常是非常部分的，这可能会导致错误的结论，从而减慢研究的进展。我们提出了Benchopt，这是一个协作框架，旨在在跨编程语言和硬件体系结构的机器学习中自动化，复制和发布优化基准。 Benchopt通过提供用于运行，共享和扩展实验的现成工具来简化社区的基准测试。为了展示其广泛的可用性，我们在三个标准学习任务上展示基准：$ \ ell_2 $ regulaine的逻辑回归，套索和RESNET18用于图像分类的培训。这些基准强调了关键的实际发现，这些发现对这些问题的最新问题更加细微，这表明在实际评估中，魔鬼在细节上。我们希望Benchopt能在社区中促进合作工作，从而改善研究结果的可重复性。
translated by 谷歌翻译
学习数据分布的参数模型是一个众所周知的统计问题，在深度学习中扩大了兴趣，因此人们对其进行了新的兴趣。将问题作为一项自我监督的任务，其中数据样本与噪声样本区分开来，是最新方法的核心，从噪声对抗性估计（NCE）开始。但是，这种对比学习需要良好的噪声分布，这很难指定。因此，特定于域特异性的启发式方法被广泛使用。尽管缺少一个全面的理论，但在实践中应广泛认为，应在分布和比例方面使最佳噪声等于数据。该设置尤其是生成对抗网络（GAN）的基础。在这里，我们从经验和理论上挑战了最佳噪声的这一假设。我们表明，从渐近方差方面，偏离这一假设实际上会导致更好的统计估计器。特别是，最佳噪声分布不同于数据，甚至与其他家庭不同。
translated by 谷歌翻译
设计对某些数据转换不变的学习系统对于机器学习至关重要。从业人员通常可以通过选择网络体系结构（例如使用卷积进行翻译或使用数据扩展。但是，在网络中实现真正的不变性可能很困难，并且并不总是知道数据不变。学习数据增强策略的最新方法需要持有数据，并且基于双重优化问题，这些问题很复杂，可以解决并且通常在计算上要求。在这项工作中，我们仅从培训数据中研究了学习不断增长的新方法。使用直接在网络中构建的可学习的增强层，我们证明我们的方法非常通用。它可以结合任何类型的可区分扩展，并应用于计算机视觉之外的广泛学习问题。我们提供的经验证据表明，基于二线优化的现代自动数据增强技术比现代自动数据增强技术更容易，更快，同时取得了可比的结果。实验表明，虽然通过自动数据增强传递到模型的不传导受到模型表达性的限制，但我们方法所产生的不变性对设计不敏感。
translated by 谷歌翻译
来自脑电图（EEG）和磁脑电图（MEG）的非侵入性电生理学信号的定量分析归结为鉴定时间模式，例如诱发反应，神经振荡的短暂爆发，以及闪烁的数据清洁。几项作品表明，这些模式可以通过无监督的方式有效提取，例如使用卷积词典学习。这导致基于事件的数据描述。鉴于这些事件，一个自然的问题是估算某些认知任务和实验操作如何调节其发生的情况。为了解决这个问题，我们提出了一种点过程方法。虽然过去曾在神经科学中使用点过程，尤其是用于单细胞记录（尖峰列车），但诸如卷积词典学习之类的技术使它们可以基于EEG/MEG信号来适应人类研究。我们开发了一个新型的统计点过程模型驱动的时间点过程（DRIPP） - 点过程模型的强度函数与一组与刺激事件相对应的点过程链接。我们得出了一种快速而有原则的期望最大化（EM）算法，以估计该模型的参数。模拟显示，可以从足够长的信号中识别模型参数。标准MEG数据集的结果表明，我们的方法论揭示了与事件相关的神经反应，并引起了诱导和分离，并隔离了非任务特定的时间模式。
translated by 谷歌翻译
2021-11-28
深度学习最近在自然语言处理方面取得了显着进展。然而，所得到的算法仍然远离人类脑的语言能力。预测编码理论提供了对这种差异的潜在说明：虽然优化深语算法以预测相邻词，但是人类大脑将被调整以进行远程和分层预测。为了测试这一假设，我们分析了304名受试者的FMRI脑信号，每个受试者每张聆听70min的短篇小说。在确认深语算法的激活之后，我们表明，通过远程预测表示增强了这些模型，提高了他们的脑映射。结果进一步揭示了大脑中预测的层次，由此前景皮质预测比时间皮质更摘要和更远的差异。总体而言，这项研究增强了预测编码理论，并表明了在自然语言处理中的远程和分层预测的关键作用。
translated by 谷歌翻译
对脑灰质细胞结构的有效表征具有定量敏感性对SOMA密度和体积的敏感性仍然是扩散MRI（DMRI）中的未解决的攻击。解决与细胞建筑特征的DMRI信号相关的问题呼吁通过少数生理相关参数和用于反相模型的算法来定义描述脑组织的数学模型。为了解决这个问题，我们提出了一个新的前向模型，特别是一个新的方程式系统，需要几个相对稀疏的B-shell。然后，我们从贝叶斯分析中应用现代工具，称为无似然推论（LFI）来颠覆我们所提出的模型。与文献中的其他方法相比，我们的算法不仅产生了最能描述给定的观察数据点$ x_0 $的参数向量$ \ theta $的估计，而且还产生了全面的后分发$ p（\ theta | x_0）超过参数空间。这使得模型反演的描述能够更丰富地描述，提供估计参数的可信间隔的指示符以及模型可能呈现不确定性的参数区域的完整表征。我们近似使用深神经密度估计器的后部分布，称为标准化流，并使用来自前向模型的一组重复模拟来拟合它们。我们使用DMIPY验证我们的模拟方法，然后在两个公共可用数据集上应用整个管道。
translated by 谷歌翻译
尽管加权套索回归具有吸引力的统计保障，但由于其复杂的搜索空间，通常避免了已有数千个Quand参与的。另一方面，具有用于黑盒功能的高维HPO方法的最新进展表明，高维应用确实可以有效地优化。尽管这一初步成功，但高维HPO方法通常应用于具有适度数量的合成问题，这些尺寸限制了其对科学和工程应用的影响。为了解决这一限制，我们提出了一个新的基准套件，这是一个在卢赛社区中的一个重要的开放研究主题量身定制的，这是加权套索回归。 Lassobench由受良好控制的合成设置（样本，SNR，环境和有效维度以及多维保真度）和现实世界数据集组成的基准，这使得能够利用许多HPO算法来改进和扩展到高维设置。我们评估了5种最先进的HPO方法和3个基线，并表明贝叶斯优化可以改善通常用于稀疏回归的方法，同时突出显示这些框架在非常高的框架中的限制。值得注意的是，贝叶斯优化分别将60,100,300和1000个尺寸问题的卢斯基线分别改善了45.7％，19.2％，19.7％和15.5％。
translated by 谷歌翻译
找到模型的最佳超参数可以作为双重优化问题，通常使用零级技术解决。在这项工作中，当内部优化问题是凸但不平滑时，我们研究一阶方法。我们表明，近端梯度下降和近端坐标下降序列序列的前向模式分化，雅各比人会收敛到精确的雅各布式。使用隐式差异化，我们表明可以利用内部问题的非平滑度来加快计算。最后，当内部优化问题大约解决时，我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处，尤其是在需要多个超参数时。
translated by 谷歌翻译
推断基于实验观察的随机模型的参数是科学方法的核心。特别具有挑战性的设置是当模型强烈不确定时，即当不同的参数集产生相同的观察时。这在许多实际情况下出现，例如在推断无线电源的距离和功率时（是源关闭和弱或远远强，且强大且强大？）或估计电生理实验的放大器增益和底层脑活动。在这项工作中，我们通过利用由辅助观察集共享全局参数传达的附加信息来阐明这种不确定性的新方法。我们的方法基于对贝叶斯分层模型的标准化流程扩展了基于仿真的推断（SBI）的最新进展。我们通过模拟和实际EEG数据将其应用于可用于分析解决方案的激励示例，以便将其验证我们的提案，然后将其从计算神经科学逆变众所周知的非线性模型。
translated by 谷歌翻译