In the recent years, various gradient descent algorithms including the methods of gradient descent, gradient descent with momentum, adaptive gradient (AdaGrad), root-mean-square propagation (RMSProp) and adaptive moment estimation (Adam) have been applied to the parameter optimization of several deep learning models with higher accuracies or lower errors. These optimization algorithms may need to set the values of several hyperparameters which include a learning rate, momentum coefficients, etc. Furthermore, the convergence speed and solution accuracy may be influenced by the values of hyperparameters. Therefore, this study proposes an analytical framework to use mathematical models for analyzing the mean error of each objective function based on various gradient descent algorithms. Moreover, the suitable value of each hyperparameter could be determined by minimizing the mean error. The principles of hyperparameter value setting have been generalized based on analysis results for model optimization. The experimental results show that higher efficiency convergences and lower errors can be obtained by the proposed method.
translated by 谷歌翻译
Migraine is a high-prevalence and disabling neurological disorder. However, information migraine management in real-world settings could be limited to traditional health information sources. In this paper, we (i) verify that there is substantial migraine-related chatter available on social media (Twitter and Reddit), self-reported by migraine sufferers; (ii) develop a platform-independent text classification system for automatically detecting self-reported migraine-related posts, and (iii) conduct analyses of the self-reported posts to assess the utility of social media for studying this problem. We manually annotated 5750 Twitter posts and 302 Reddit posts. Our system achieved an F1 score of 0.90 on Twitter and 0.93 on Reddit. Analysis of information posted by our 'migraine cohort' revealed the presence of a plethora of relevant information about migraine therapies and patient sentiments associated with them. Our study forms the foundation for conducting an in-depth analysis of migraine-related information using social media data.
translated by 谷歌翻译
Machine learning models usually assume i.i.d data during training and testing, but data and tasks in real world often change over time. To emulate the transient nature of real world, we propose a challenging but practical task: text classification in-the-wild, which introduces different non-stationary training/testing stages. Decomposing a complex task into modular components can enable robust generalisation under such non-stationary environment. However, current modular approaches in NLP do not take advantage of recent advances in parameter efficient tuning of pretrained language models. To close this gap, we propose MODULARPROMPT, a label-modular prompt tuning framework for text classification tasks. In MODULARPROMPT, the input prompt consists of a sequence of soft label prompts, each encoding modular knowledge related to the corresponding class label. In two of most formidable settings, MODULARPROMPT outperforms relevant baselines by a large margin demonstrating strong generalisation ability. We also conduct comprehensive analysis to validate whether the learned prompts satisfy properties of a modular representation.
translated by 谷歌翻译
现有的数据驱动和反馈流量控制策略不考虑实时数据测量的异质性。此外，对于缺乏数据效率，传统的加固学习方法（RL）方法通常会缓慢收敛。此外，常规的最佳外围控制方案需要对系统动力学的精确了解，因此对内源性不确定性会很脆弱。为了应对这些挑战，这项工作提出了一种基于不可或缺的增强学习（IRL）的方法来学习宏观交通动态，以进行自适应最佳周边控制。这项工作为运输文献做出了以下主要贡献：（a）开发连续的时间控制，并具有离散增益更新以适应离散时间传感器数据。 （b）为了降低采样复杂性并更有效地使用可用数据，将体验重播（ER）技术引入IRL算法。 （c）所提出的方法以“无模型”方式放松模型校准的要求，该方式可以稳健地进行建模不确定性，并通过数据驱动的RL算法增强实时性能。 （d）通过Lyapunov理论证明了基于IRL的算法和受控交通动力学的稳定性的收敛性。最佳控制定律被参数化，然后通过神经网络（NN）近似，从而缓解计算复杂性。在不需要模型线性化的同时，考虑了状态和输入约束。提出了数值示例和仿真实验，以验证所提出方法的有效性和效率。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
唇裂是一种先天性异常，需要专家手术修复。外科医生必须具有丰富的经验和理论知识才能进行手术，并且已经提出了人工智能（AI）方法来指导外科医生改善手术结局。如果可以使用AI来预测修复的唇唇的外观，那么外科医生可以将其用作辅助手术技术来调整其手术技术并改善结果。为了在保护患者隐私时探索这个想法的可行性，我们提出了一种基于深度学习的图像镶嵌方法，该方法能够覆盖唇裂，并产生唇彩，而无需裂缝。我们的实验是在两个现实世界中的裂口数据集上进行的，并由专家cleft唇外科医生评估，以证明该方法的可行性。
translated by 谷歌翻译
对话状态跟踪器是为了跟踪对话中用户目标的设计，是对话系统中的重要组成部分。但是，对话状态跟踪的研究在很大程度上仅限于单形式，其中插槽和老虎机值受知识领域（例如带有餐厅名称和价格范围插槽的餐厅域）的限制，并且由特定的数据库架构定义。在本文中，我们建议将对话状态跟踪的定义扩展到多模式。具体来说，我们介绍了一项新颖的对话状态跟踪任务，以跟踪视频接地对话中提到的视觉对象的信息。每个新的对话说法都可能引入一个新的视频段，新的视觉对象或新对象属性，并且需要一个状态跟踪器来相应地更新这些信息插槽。我们创建了一个新的合成基准测试，并为此任务设计了一个新颖的基线视频 - 底盘变压器网络（VDTN）。 VDTN结合了对象级功能和段级功能，并学习视频和对话之间的上下文依赖性，以生成多模式对话状态。我们为国家生成任务以及一个自我监督的视频理解任务优化了VDTN，该任务恢复了视频段或对象表示。最后，我们培训了VDTN在响应预测任务中使用解码状态。加上全面的消融和定性分析，我们发现了一些有趣的见解，以建立更有能力的多模式对话系统。
translated by 谷歌翻译
我们研究了通过机器学习从欧几里得相关函数重建光谱函数的逆问题。我们提出了一个新型的神经网络SVAE，该网络基于变异自动编码器（VAE），可以自然应用于逆问题。 SVAE的突出特征是，作为损失函数中的先验信息包含了频谱函数的地面真实值的香农 - jaynes熵项，要最小化。我们使用高斯混合模型产生的一般光谱函数训练网络。作为一项测试，我们使用由一个由一个共振峰制成的四种不同类型的物理动机函数产生的相关器，连续项和使用非相关性QCD获得的扰动光谱函数。从模拟数据测试我们发现，在大多数情况下，SVAE与重建光谱函数质量的最大熵方法（MEM）相媲美，甚至在光谱函数具有尖峰的情况下且数据数量不足的情况下，SVAE与MEM的表现相当。相关器中的点。通过在淬火晶格QCD中获得的charmonium的时间相关函数应用于$ 128^3 \ times96 $ lattices和$ 128^3 \ times48 $ lattices，我们找到了$ 128^3 \ times96 $ lattices in 0.75 $ t_c $ on 0.75 $ t_c $ on 0.75 $ t_c $，我们发现，我们找到了，我们找到了，我们找到从SVAE和MEM提取的$ \ eta_c $的共振峰值对晶格模拟中采用的时间方向（$ n_ \ tau $）的点数具有很大的依赖为了解决$ \ eta_c $的命运为1.5 $ t_c $。
translated by 谷歌翻译
2021-04-16
神经模块网络（NMN）在图像接地任务中取得了成功，例如在合成图像上的视觉询问（VQA）。但是，在视频接地的对话任务中已经研究了NMN的非常有限的工作。这些任务通过附加的视觉时间差异和语言交叉转移依赖性扩展了传统视觉任务的复杂性。在最新的NMN方法上，我们介绍了视频接地的神经模块网络（VGNMN），以模拟视频基础语言任务中的信息检索过程，作为神经模块的管道。 VGNMN首先分解对话中的所有语言组件，以明确解决任何实体参考并从问题中检测相应的基于动作的输入。检测到的实体和动作被用作实例化神经模块网络并从视频中提取视觉提示的参数。我们的实验表明，VGNMN可以在充满挑战的视频对话基准以及视频质量质量标准测试中实现有希望的表现。
translated by 谷歌翻译
2021-03-01
Compared to traditional visual question answering, video-grounded dialogues require additional reasoning over dialogue context to answer questions in a multi-turn setting. Previous approaches to video-grounded dialogues mostly use dialogue context as a simple text input without modelling the inherent information flows at the turn level. In this paper, we propose a novel framework of Reasoning Paths in Dialogue Context (PDC). PDC model discovers information flows among dialogue turns through a semantic graph constructed based on lexical components in each question and answer. PDC model then learns to predict reasoning paths over this semantic graph. Our path prediction model predicts a path from the current turn through past dialogue turns that contain additional visual cues to answer the current question. Our reasoning model sequentially processes both visual and textual information through this reasoning path and the propagated features are used to generate the answer. Our experimental results demonstrate the effectiveness of our method and provide additional insights on how models use semantic dependencies in a dialogue context to retrieve visual cues.
translated by 谷歌翻译