The peer merit review of research proposals has been the major mechanism for deciding grant awards. However, research proposals have become increasingly interdisciplinary. It has been a longstanding challenge to assign interdisciplinary proposals to appropriate reviewers, so proposals are fairly evaluated. One of the critical steps in reviewer assignment is to generate accurate interdisciplinary topic labels for proposal-reviewer matching. Existing systems mainly collect topic labels manually generated by principal investigators. However, such human-reported labels can be non-accurate, incomplete, labor intensive, and time costly. What role can AI play in developing a fair and precise proposal reviewer assignment system? In this study, we collaborate with the National Science Foundation of China to address the task of automated interdisciplinary topic path detection. For this purpose, we develop a deep Hierarchical Interdisciplinary Research Proposal Classification Network (HIRPCN). Specifically, we first propose a hierarchical transformer to extract the textual semantic information of proposals. We then design an interdisciplinary graph and leverage GNNs for learning representations of each discipline in order to extract interdisciplinary knowledge. After extracting the semantic and interdisciplinary knowledge, we design a level-wise prediction component to fuse the two types of knowledge representations and detect interdisciplinary topic paths for each proposal. We conduct extensive experiments and expert evaluations on three real-world datasets to demonstrate the effectiveness of our proposed model.
translated by 谷歌翻译
功能转换旨在通过数学转换现有功能来提取良好的表示(功能)空间。应对维度的诅咒,增强模型概括,克服数据稀疏性并扩大经典模型的可用性至关重要。当前的研究重点是基于领域的知识特征工程或学习潜在表示;然而,这些方法并非完全自动化,不能产生可追溯和最佳的表示空间。在重建机器学习任务的功能空间时,可以同时解决这些限制吗?在这项扩展研究中,我们提出了一个用于特征转化的自优化框架。为了取得更好的性能,我们通过(1)获得高级状态表示来改善初步工作,以使加强代理能够更好地理解当前功能集; (2)解决Q值高估的Q值高估,以学习无偏见和有效的政策。最后,为了使实验比初步工作更具说服力,我们结论是通过五个数据集添加异常检测任务,评估各种状态表示方法,并比较不同的培训策略。广泛的实验和案例研究表明,我们的工作更有效和更高。
translated by 谷歌翻译
作为一种成功的自我监督学习方法,对比学习旨在学习输入样本扭曲之间共享的不变信息。尽管对比度学习在抽样策略和架构设计方面取得了持续的进步,但仍然存在两个持续的缺陷:任务 - 核定信息的干扰和样本效率低下,这与琐碎的恒定解决方案的反复存在有关。从维度分析的角度来看,我们发现尺寸的冗余和尺寸混杂因素是现象背后的内在问题,并提供了实验证据来支持我们的观点。我们进一步提出了一种简单而有效的方法metamask,这是元学习学到的维度面膜的缩写,以学习反对维度冗余和混杂因素的表示形式。 MetAmask采用冗余技术来解决尺寸的冗余问题,并创新地引入了尺寸掩模,以减少包含混杂因子的特定维度的梯度效应,该效果通过采用元学习范式进行培训,以改善掩盖掩盖性能的目标典型的自我监督任务的表示。与典型的对比方法相比,我们提供了坚实的理论分析以证明元掩体可以获得下游分类的更严格的风险范围。从经验上讲,我们的方法在各种基准上实现了最先进的性能。
translated by 谷歌翻译
尽管自我监督的学习技术通常用于通过建模多种观点来从未标记的数据中挖掘隐性知识,但尚不清楚如何在复杂且不一致的环境中执行有效的表示学习。为此,我们提出了一种方法,特别是一致性和互补网络(Coconet),该方法利用了严格的全局视图一致性和局部跨视图互补性,以维护正则化,从而从多个视图中全面学习表示形式。在全球阶段,我们认为关键知识在观点之间隐含地共享,并增强编码器以从数据中捕获此类知识可以提高学习表示表示的可区分性。因此,保留多种观点的全球一致性可确保获得常识。 Coconet通过利用基于广义切成薄片的Wasserstein距离利用有效的差异度量测量来对齐视图的概率分布。最后,在本地阶段,我们提出了一个启发式互补性因素,该因素是跨观看歧视性知识的,它指导编码者不仅要学习视图的可辨别性,而且还学习跨视图互补信息。从理论上讲,我们提供了我们提出的椰子的基于信息理论的分析。从经验上讲,为了研究我们方法的改善,我们进行了足够的实验验证,这表明椰子的表现优于最先进的自我监督方法,这证明了这种隐含的一致性和互补性可以增强正则化的能力潜在表示的可区分性。
translated by 谷歌翻译
风险评分系统已被广泛地部署在许多应用程序中,这些应用程序根据用户的行为序列将风险分数分配给了。尽管许多具有复杂设计的深度学习方法已经取得了令人鼓舞的结果,但由于公平,解释性和合规性考虑,黑框的性质阻碍了他们的应用。在这些敏感情况下,基于规则的系统被认为是可靠的。但是,构建规则系统是劳动密集型的。专家需要从用户行为序列,基于统计数据的设计规则中找到信息统计信息,并为每个规则分配权重。在本文中,我们弥合了有效但黑色框模型与透明规则模型之间的差距。我们提出了一种两阶段的方法Rudi,该方法将黑框教师模型的知识提炼成基于规则的学生模型。我们设计了一种基于蒙特卡洛树搜索的统计生成方法,该方法可以在第一阶段提供一组信息统计信息。然后,通过模仿教师模型的输出,将统计数据与我们提出的神经逻辑网络组成逻辑规则。我们在三个现实世界公共数据集和一个工业数据集上评估了Rudi,以证明其有效性。
translated by 谷歌翻译
会话推荐系统(CRS)旨在捕获用户的当前意图,并通过实时多转交流交互提供建议。作为人机互动系统,CRS必须改善用户体验。但是,大多数CRS方法忽略了用户体验的重要性。在本文中,我们为CRS提出了两个关键点,以改善用户体验:(1)像人类一样说话,人类可以根据当前的对话环境以不同的风格说话。 (2)识别精细颗粒的意图,即使对于相同的话语,不同的用户也具有多种良好的意图,这与用户的固有偏好有关。根据观察结果,我们提出了一个新颖的CRS模型,即创建的定制对话推荐系统(CCRS),该系统从三个角度从三个角度定制了用户的CRS模型。对于类似人类的对话服务,我们提出了多式对话响应生成器,该响应响应生成器选择了语音发言的上下文感知语言风格。为了提供个性化的建议,我们在用户固有的偏好的指导下从对话上下文中提取用户当前的细粒度意图。最后,为了自定义每个用户的模型参数,我们从元学习的角度训练模型。广泛的实验和一系列分析表明,我们的CCR在推荐和对话服务上的优势。
translated by 谷歌翻译
深层神经网络预测交通需求已引起了学术界和行业社会的广泛兴趣。其中,成对来源点(OD)需求预测是一个有价值但具有挑战性的问题:(i)大量可能的OD对,(ii)空间依赖性的内在性和(iii)交通的复杂性状态。为了解决上述问题,本文提出了一种连续的时间和多级动态图表表示方法,用于原始用途需求预测(CMOD)。首先,构建了一个连续的动态图表示学习框架,该框架维护每个流量节点(地铁站或出租车区)的动态状态向量。国家向量保留历史交易信息,并根据最近发生的交易不断更新。其次,提出了多层结构学习模块,以模拟站点级节点的空间依赖性。它不仅可以从数据自适应地利用节点之间的关系,还可以通过集群级别和区域级虚拟节点共享消息和表示形式。最后,跨级融合模块旨在集成多级记忆并为最终预测生成综合节点表示。在北京地铁和纽约出租车的两个现实世界数据集上进行了广泛的实验,结果证明了我们的模型与最先进的方法相比。
translated by 谷歌翻译
基于对比度学习(CL)以成对的方式学习视觉表示。尽管流行的CL模型取得了长足的进步,但在本文中,我们发现了一种不断被忽视的现象:当CL模型接受完整图像训练时,以完整图像测试的性能要比前景区域的表现更好。当CL模型接受前景区域训练时,以完整图像测试的性能要比前景区域差。该观察结果表明,图像中的背景可能会干扰模型学习语义信息及其影响尚未完全消除。为了解决这个问题,我们建立了一个结构性因果模型(SCM),以建模背景作为混杂因素。我们提出了一种基于后门调整的正则化方法,即用元语义正常器(ICL-MSR)进行介入的对比度学习,以对所提出的SCM进行因果干预。可以将ICL-MSR纳入任何现有的CL方法中,以减轻代表学习的背景干扰。从理论上讲,我们证明ICL-MSR达到了更严格的误差。从经验上讲,我们在多个基准数据集上的实验表明,ICL-MSR能够改善不同最先进的CL方法的性能。
translated by 谷歌翻译
最近的研究表明,在将图神经网络应用于多元时间序列预测中,其中时间序列的相互作用被描述为图形结构,并且变量表示为图节点。沿着这一行,现有方法通常假定确定图神经网络的聚合方式的图形结构(或邻接矩阵)是根据定义或自学来固定的。但是,变量的相互作用在现实情况下可以是动态的和进化的。此外,如果在不同的时间尺度上观察到时间序列的相互作用序列的相互作用大不相同。为了使图形神经网络具有灵活而实用的图结构,在本文中,我们研究了如何对时间序列的进化和多尺度相互作用进行建模。特别是,我们首先提供与扩张的卷积配合的层次图结构,以捕获时间序列之间的比例特定相关性。然后,以经常性的方式构建了一系列邻接矩阵,以表示每一层的不断发展的相关性。此外,提供了一个统一的神经网络来集成上述组件以获得最终预测。这样,我们可以同时捕获成对的相关性和时间依赖性。最后,对单步和多步骤预测任务的实验证明了我们方法比最新方法的优越性。
translated by 谷歌翻译
对比度学习重要的是什么?我们认为,对比度学习在很大程度上取决于信息丰富的特征或“硬”(正面或负面)特征。早期作品包括通过应用复杂的数据增强和较大的批量尺寸或内存库以及最近的作品设计精心设计的采样方法来探索信息丰富的功能,包括更有信息的功能。探索此类功能的关键挑战是,通过应用随机数据增强来生成源多视图数据,这使得始终在增强数据中添加有用的信息是不可行的。因此,从这种增强数据中学到的功能的信息有限。作为回应,我们建议直接增强潜在空间中的特征,从而在没有大量输入数据的情况下学习判别性表示。我们执行一种元学习技术来构建通过考虑编码器的性能来更新其网络参数的增强生成器。但是,输入数据不足可能会导致编码器学习折叠功能,从而导致增强发生器故障。在目标函数中进一步添加了新的注入边缘的正则化,以避免编码器学习退化映射。为了对比一个梯度背部传播步骤中的所有特征,我们采用了提出的优化驱动的统一对比损失,而不是常规的对比损失。从经验上讲,我们的方法在几个基准数据集上实现了最新的结果。
translated by 谷歌翻译