Brain decoding is a field of computational neuroscience that uses measurable brain activity to infer mental states or internal representations of perceptual inputs. Therefore, we propose a novel approach to brain decoding that also relies on semantic and contextual similarity. We employ an fMRI dataset of natural image vision and create a deep learning decoding pipeline inspired by the existence of both bottom-up and top-down processes in human vision. We train a linear brain-to-feature model to map fMRI activity features to visual stimuli features, assuming that the brain projects visual information onto a space that is homeomorphic to the latent space represented by the last convolutional layer of a pretrained convolutional neural network, which typically collects a variety of semantic features that summarize and highlight similarities and differences between concepts. These features are then categorized in the latent space using a nearest-neighbor strategy, and the results are used to condition a generative latent diffusion model to create novel images. From fMRI data only, we produce reconstructions of visual stimuli that match the original content very well on a semantic level, surpassing the state of the art in previous literature. We evaluate our work and obtain good results using a quantitative semantic metric (the Wu-Palmer similarity metric over the WordNet lexicon, which had an average value of 0.57) and perform a human evaluation experiment that resulted in correct evaluation, according to the multiplicity of human criteria in evaluating image similarity, in over 80% of the test set.
translated by 谷歌翻译
大脑区域之间的功能连通性(FC)通常是通过应用于功能磁共振成像(FMRI)数据的统计依赖度量来估计的。所得的功能连接矩阵(FCM)通常用于表示脑图的邻接矩阵。最近,图形神经网络(GNN)已成功应用于FCM,以学习脑图表示。但是,现有GNN方法的一个普遍局限性是,它们要求在模型训练之前知道图形邻接矩阵。因此,隐含地假设数据的基础依赖性结构已知。不幸的是,对于fMRI而言,情况并非如此,因为哪种统计度量的选择最能代表数据的依赖性结构是非平凡的。同样,大多数GNN应用于功能磁共振成像,FC都会随着时间的推移而静态,这与神经科学的证据相反,表明功能性脑网络是随时间变化且动态的。这些复合问题可能会对GNN学习脑图表示的能力产生不利影响。作为解决方案,我们提出了动态大脑图结构学习(DBGSL),这是一种学习fMRI数据最佳时变依赖性结构的监督方法。具体而言,DBGSL通过应用于大脑区域嵌入的时空注意力从fMRI时间表中学习了动态图。然后将所得的图馈送到空间GNN中,以学习分类的图表。大型休息状态以及性别分类任务的fMRI数据集的实验表明,DBGSL可以实现最新的性能。此外,对学习动态图的分析突出了与现有神经科学文献的发现相符的预测相关大脑区域。
translated by 谷歌翻译
自动算法提出的信任预测的意愿是许多领域中的关键。但是,大量的深度体系结构只能在没有相关不确定性的情况下制定预测。在本文中,我们提出了一种将标准神经网络转换为贝叶斯神经网络的方法,并通过对每个正向通行证时类似于原始网络的不同网络进行采样来估算预测的可变性。我们将方法与基于可调拒绝的方法相结合,该方法仅采用数据集的部分,该数据集的分数能够以低于用户集阈值的不确定性进行分类。我们在阿尔茨海默氏病患者的大量大脑图像中测试了我们的模型,在那里我们仅根据形态计量学图像来解决与健康对照组的歧视。我们证明了将估计的不确定性与基于拒绝的方法结合在一起如何将分类精度从0.86提高到0.95,同时保留了75%的测试集。此外,该模型可以根据过度不确定性选择建议进行手动评估的案例。我们认为,能够估计预测的不确定性,以及可以调节网络行为的工具,以使用户被告知(和舒适)可以代表用户方向的关键步骤合规性和更容易将深度学习工具集成到人类运营商当前执行的日常任务中。
translated by 谷歌翻译
在医学中,精心策划的图像数据集经常采用离散标签来描述所谓的健康状况与病理状况的连续光谱,例如阿尔茨海默氏病连续体或图像在诊断中起关键点的其他领域。我们提出了一个基于条件变异自动编码器的图像分层的体系结构。我们的框架VAESIM利用连续的潜在空间来表示疾病的连续体并在训练过程中找到簇,然后可以将其用于图像/患者分层。该方法的核心学习一组原型向量,每个向量与群集关联。首先,我们将每个数据样本的软分配给群集。然后,我们根据样品嵌入和簇的原型向量之间的相似性度量重建样品。为了更新原型嵌入,我们使用批处理大小中实际原型和样品之间最相似表示的指数移动平均值。我们在MNIST手写数字数据集和名为Pneumoniamnist的医疗基准数据集上测试了我们的方法。我们证明,我们的方法在两个数据集中针对标准VAE的分类任务(性能提高了15%)的KNN准确性优于基准,并且还以完全监督的方式培训的分类模型同等。我们还展示了我们的模型如何优于无监督分层的当前,端到端模型。
translated by 谷歌翻译
与临床上建立的疾病类别相比,缺乏大型标记的医学成像数据集以及个体间的显着可变性,在精确医学范式中利用医学成像信息方面面临重大挑战个体预测和/或将患者分为较细粒的群体,这些群体可能遵循更多均匀的轨迹,从而赋予临床试验能力。为了有效地探索以无监督的方式探索医学图像中有效的自由度可变性,在这项工作中,我们提出了一个无监督的自动编码器框架,并增加了对比度损失,以鼓励潜在空间中的高可分离性。该模型在(医学)基准数据集上进行了验证。由于群集标签是根据集群分配分配给每个示例的,因此我们将性能与监督的转移学习基线进行比较。我们的方法达到了与监督体系结构相似的性能,表明潜在空间中的分离再现了专家医学观察者分配的标签。所提出的方法可能对患者分层有益,探索较大类或病理连续性的新细分,或者由于其在变化环境中的采样能力,因此医学图像处理中的数据增强。
translated by 谷歌翻译
系统生物学和系统尤其是神经生理学,最近已成为生物医学科学中许多关键应用的强大工具。然而,这样的模型通常基于需要临时计算策略并提出极高计算需求的多尺度(可能是多物理)策略的复杂组合。深度神经网络领域的最新发展证明了与传统模型相比,具有非线性,通用近似值的可能性,以估算具有高速度和准确性优势的高度非线性和复杂问题。合成数据验证后,我们使用所谓的物理约束神经网络(PINN)同时求解生物学上合理的Hodgkin-Huxley模型,并从可变和恒定电流刺激下从真实数据中推断出其参数和隐藏的时间巡回赛,显示出极低的刺激峰值和忠实信号重建的可变性。我们获得的参数范围也与先验知识兼容。我们证明可以向神经网络提供详细的生物学知识,从而使其能够在模拟和真实数据上拟合复杂的动态。
translated by 谷歌翻译
由于其易于实施,多层感知器(MLP)在深度学习应用程序中变得无处不在。 MLP的基础图确实是多部分,即神经元的每个层仅连接到属于相邻层的神经元。在约束中,体内脑连接在单个突触的水平上表明,生物神经元网络的特征是无尺度度分布或指数截断的功率定律强度分布,这暗示了潜在的新型途径,用于开发进化衍生的神经元网络。在本文中,我们提出了“ 4ward”,这是一种方法和Python库,能够从任意复杂的定向无环形图中生成灵活有效的神经网络(NNS)。 4ward的灵感来自于从图形图纪律中绘制的分层算法以实现有效的向前传球,并在具有各种ERD \ H {O} S-R \'enyi图的计算实验中提供了显着的时间增长。 4Ward通过并行化激活的计算来克服学习矩阵方法的顺序性质,并为设计人员提供自定义权重初始化和激活函数的自由。我们的算法对于任何寻求在微观尺度的NN设计框架中利用复杂拓扑的研究者都可以帮助。
translated by 谷歌翻译
本文介绍了用于自动赛车的多层运动计划和控制架构,能够避免静态障碍,进行主动超越并达到75 $ m/s $以上的速度。使用的脱机全局轨迹生成和在线模型预测控制器高度基于车辆的优化和动态模型,在该模型中,在基本的Pacejka Magic公式的扩展版本中,轮胎和弯曲效果表示。使用多体汽车运动库鉴定并验证了所提出的单轨模型,这些模型允许正确模拟车辆动力学,在丢失实际实验数据时尤其有用。调整了控制器的基本正规化项和约束,以降低输入的变化速率,同时确保可接受的速度和路径跟踪。运动计划策略由一个基于Fren \'ET框架的计划者组成,该计划者考虑了Kalman过滤器产生的对手的预测。策划者选择了无碰撞路径和速度轮廓要在3秒钟的视野中跟踪,以实现不同的目标,例如跟随和超车。该提议的解决方案已应用于达拉拉AV-21赛车,并在椭圆形赛道上进行了测试,可实现高达25 $ m/s^{2} $的横向加速度。
translated by 谷歌翻译
In the future, service robots are expected to be able to operate autonomously for long periods of time without human intervention. Many work striving for this goal have been emerging with the development of robotics, both hardware and software. Today we believe that an important underpinning of long-term robot autonomy is the ability of robots to learn on site and on-the-fly, especially when they are deployed in changing environments or need to traverse different environments. In this paper, we examine the problem of long-term autonomy from the perspective of robot learning, especially in an online way, and discuss in tandem its premise "data" and the subsequent "deployment".
translated by 谷歌翻译
A systematic review on machine-learning strategies for improving generalizability (cross-subjects and cross-sessions) electroencephalography (EEG) based in emotion classification was realized. In this context, the non-stationarity of EEG signals is a critical issue and can lead to the Dataset Shift problem. Several architectures and methods have been proposed to address this issue, mainly based on transfer learning methods. 418 papers were retrieved from the Scopus, IEEE Xplore and PubMed databases through a search query focusing on modern machine learning techniques for generalization in EEG-based emotion assessment. Among these papers, 75 were found eligible based on their relevance to the problem. Studies lacking a specific cross-subject and cross-session validation strategy and making use of other biosignals as support were excluded. On the basis of the selected papers' analysis, a taxonomy of the studies employing Machine Learning (ML) methods was proposed, together with a brief discussion on the different ML approaches involved. The studies with the best results in terms of average classification accuracy were identified, supporting that transfer learning methods seem to perform better than other approaches. A discussion is proposed on the impact of (i) the emotion theoretical models and (ii) psychological screening of the experimental sample on the classifier performances.
translated by 谷歌翻译