资源受限的分类任务在实际应用中很常见,例如为疾病诊断分配测试,填补有限数量的职位时雇用决策以及在有限检查预算下制造环境中的缺陷检测。典型的分类算法将学习过程和资源约束视为两个单独的顺序任务。在这里,我们设计了一种自适应学习方法,该方法通过迭代微调错误分类成本来考虑资源限制和共同学习。通过使用公开可用数据集的结构化实验研究,我们评估了采用建议方法的决策树分类器。自适应学习方法的表现要比替代方法要好得多,尤其是对于困难的分类问题,在这种问题上,普通方法的表现可能不令人满意。我们将适应性学习方法设想为处理资源受限分类问题的技术曲目的重要补充。
translated by 谷歌翻译
我们设计了一种新的自适应学习算法,以进行错误分类成本问题,试图降低源于各种误差后果的错误分类实例的成本。我们的算法(自适应成本敏感学习 - ADACSL)自适应地调整损耗功能,使得分类器桥接训练中样本子组之间的类分布的差异,以及具有类似预测概率的测试数据集(即本地训练测试类分布不匹配)。我们在所提出的算法上提供一些理论性能保证,并提出了与所提出的ADACSL算法一起使用的深度神经网络的经验证据,并在与其他替代方法相比具有类别不平衡和类平衡分布的几个二进制分类数据集上产生更好的成本结果。
translated by 谷歌翻译
Large language models can perform new tasks in a zero-shot fashion, given natural language prompts that specify the desired behavior. Such prompts are typically hand engineered, but can also be learned with gradient-based methods from labeled data. However, it is underexplored what factors make the prompts effective, especially when the prompts are natural language. In this paper, we investigate common attributes shared by effective prompts. We first propose a human readable prompt tuning method (F LUENT P ROMPT) based on Langevin dynamics that incorporates a fluency constraint to find a diverse distribution of effective and fluent prompts. Our analysis reveals that effective prompts are topically related to the task domain and calibrate the prior probability of label words. Based on these findings, we also propose a method for generating prompts using only unlabeled data, outperforming strong baselines by an average of 7.0% accuracy across three tasks.
translated by 谷歌翻译
Language models can be prompted to perform a wide variety of zero- and few-shot learning problems. However, performance varies significantly with the choice of prompt, and we do not yet understand why this happens or how to pick the best prompts. In this work, we analyze the factors that contribute to this variance and establish a new empirical hypothesis: the performance of a prompt is coupled with the extent to which the model is familiar with the language it contains. Over a wide range of tasks, we show that the lower the perplexity of the prompt is, the better the prompt is able to perform the task. As a result, we devise a method for creating prompts: (1) automatically extend a small seed set of manually written prompts by paraphrasing using GPT3 and backtranslation and (2) choose the lowest perplexity prompts to get significant gains in performance.
translated by 谷歌翻译
在以前的工作中,提出了一种新型的Edge轻巧可搜索的基于属性的加密(ELSA)方法,以支持行业4.0,特别是工业互联网应用程序。在本文中,我们旨在通过整合适合在边缘执行的机器学习(ML)方法来最大程度地降低查找表的大小并汇总数据记录来改善ELSA。该集成将通过评估进一步处理的附加值来消除不必要数据的记录。因此,导致查找表大小,云存储和网络流量的最小化充分利用了边缘体系结构优势。我们在著名的发电厂数据集上展示了我们的Mini-Elsa扩展方法。我们的结果表明,将存储要求减少了21%,同时将执行时间提高了1.27倍。
translated by 谷歌翻译
大多数腿部机器人都是由串行安装链路和执行器的腿部结构构建的,并通过复杂的控制器和传感器反馈来控制。相比之下,动物发展了多段腿,关节之间的机械耦合以及多段的脚。它们在所有地形上运行敏捷,可以说是通过更简单的运动控制。在这里,我们专注于开发抗原在自然地形上也滑落和下沉的脚步机制。我们提出了安装在具有多接头机械肌腱耦合的鸟类灵感机器人腿上的多段脚的首先结果。我们的单段和两段机械自适应的脚显示在开始滑动之前,在多个软和硬质基材上显示了可行的水平力。我们还观察到,与球形和圆柱 - 脚相比,分割的脚减少了软底物上的下沉。我们报告了多段脚如何提供非常适合双皮亚机器人的可行压力点的范围范围,还适用于斜坡和自然地形上的四倍机器人。我们的结果还提供了对诸如级别鸟类等动物的分段脚的功能理解。
translated by 谷歌翻译
我们提出了一种快速且数值准确的方法,用于扩展数字化的$ l \ times l $图像,代表$ [-1,1]^2 $在磁盘$ \ {x \ in \ in \ mathbb {r}^2:| |磁盘上的谐波(dirichlet laplacian eigenfunctions)中的x | <1 \} $。我们的方法以$ \ Mathcal {O}(l^2 \ log L)$操作运行。此基础也称为傅立叶贝塞尔基础,它具有多个计算优势:它是正交的,按频率订购,并且可以通过将对角线变换应用于系数来旋转,从而可以旋转图像。此外,我们表明,具有径向函数的卷积也可以通过将对角变换应用于系数进行有效计算。
translated by 谷歌翻译
我们解决产品生成任务。对于给定的产品描述,我们的目标是生成反映潜在用户信息需求的问题,这些需求要么缺少或不涵盖描述中的问题。此外,我们希望涵盖可能涵盖多种产品类型的各种用户信息需求。为此,我们首先展示了如何对任务进行微调的T5预训练的变压器编码器模型。然而,尽管与最先进的任务方法相比,T5产生的问题具有合理的质量(KPCNET),但许多此类问题仍然太笼统,导致了次优最佳的全球问题多样性。作为替代方案,我们提出了一种新颖的学习对多样化(LTD)微调方法,该方法可以丰富基础变压器模型所学的语言。我们的经验评估表明,使用我们的方法可显着提高基础变压器模型的全球多样性,同时尽可能多地保持其一代相关性。
translated by 谷歌翻译
时间图神经网络(时间GNN)已被广泛研究,在多个预测任务上达到了最新的结果。大多数先前作品采用的一种常见方法是应用一个层,该图层汇总了节点历史邻居的信息。朝着不同的研究方向迈进,在这项工作中,我们提出了TBDFS - 一种新颖的时间GNN架构。 TBDF应用一个层,该图层有效地将信息从时间路径聚集到图中的给定(目标)节点。对于每个给定的节点,将聚集分为两个阶段:(1)在该节点中结束的每个时间路径的单个表示,并且(2)所有路径表示都汇总为最终节点表示。总体而言,我们的目标不是在节点中添加新信息,而是从新角度观察相同的确切信息。这使我们的模型可以直接观察到面向路径的模式,而不是面向邻里的模式。与以前的作品中应用的流行呼吸优先搜索(BFS)遍历相比,这可以认为是时间图上的深度优先搜索(DFS)遍历。我们通过多个链接预测任务评估了TBDF,并显示出与最先进的基线相比的表现。据我们所知,我们是第一个应用Perimal-DFS神经网络的人。
translated by 谷歌翻译
表明多语言语言模型允许跨脚本和语言进行非平凡的转移。在这项工作中,我们研究了能够转移的内部表示的结构。我们将重点放在性别区分作为实际案例研究的表示上,并研究在跨不同语言的共享子空间中编码性别概念的程度。我们的分析表明,性别表示由几个跨语言共享的重要组成部分以及特定于语言的组成部分组成。与语言无关和特定语言的组成部分的存在为我们做出的有趣的经验观察提供了解释:虽然性别分类跨语言良好地传递了跨语言,对性别删除的干预措施,对单一语言进行了培训,但不会轻易转移给其他人。
translated by 谷歌翻译