在许多实际应用（例如运动预测和3D感知）中，旋转模棱两可是理想的属性，它可以提供样本效率，更好的概括和对输入扰动的鲁棒性等好处。向量神经元（VN）是一个最近开发的框架，它通过将一维标量神经元扩展到三维“向量神经元”，提供一种简单而有效的方法来推导标准机器学习操作的旋转量表类似物。我们介绍了一种新颖的“ VN转换器”体系结构，以解决当前VN模型的几个缺点。我们的贡献是：$（i）$，我们得出了一种旋转等级的注意机制，这消除了原始矢量神经元模型所需的重型功能预处理的需求； $（ii）$我们扩展了VN框架以支持非空间属性，将这些模型的适用性扩展到现实世界数据集； $（iii）$，我们得出了一种旋转等级机制，用于多尺度减少点云的分辨率，从而大大加快了推理和训练； $（iv）$我们表明，可以使用小额折衷（$ \ epsilon $ - approximate povrivariance）来获得对加速硬件的数值稳定性和培训鲁棒性的巨大改进，并且我们绑定了我们模型中对等效性侵犯的繁殖。最后，我们将VN转换器应用于3D形状分类和运动预测，并具有令人信服的结果。
translated by 谷歌翻译
Are extralinguistic signals such as image pixels crucial for inducing constituency grammars? While past work has shown substantial gains from multimodal cues, we investigate whether such gains persist in the presence of rich information from large language models (LLMs). We find that our approach, LLM-based C-PCFG (LC-PCFG), outperforms previous multi-modal methods on the task of unsupervised constituency parsing, achieving state-of-the-art performance on a variety of datasets. Moreover, LC-PCFG results in an over 50% reduction in parameter count, and speedups in training time of 1.7x for image-aided models and more than 5x for video-aided models, respectively. These results challenge the notion that extralinguistic signals such as image pixels are needed for unsupervised grammar induction, and point to the need for better text-only baselines in evaluating the need of multi-modality for the task.
translated by 谷歌翻译
Neglected tropical diseases (NTDs) continue to affect the livelihood of individuals in countries in the Southeast Asia and Western Pacific region. These diseases have been long existing and have caused devastating health problems and economic decline to people in low- and middle-income (developing) countries. An estimated 1.7 billion of the world's population suffer one or more NTDs annually, this puts approximately one in five individuals at risk for NTDs. In addition to health and social impact, NTDs inflict significant financial burden to patients, close relatives, and are responsible for billions of dollars lost in revenue from reduced labor productivity in developing countries alone. There is an urgent need to better improve the control and eradication or elimination efforts towards NTDs. This can be achieved by utilizing machine learning tools to better the surveillance, prediction and detection program, and combat NTDs through the discovery of new therapeutics against these pathogens. This review surveys the current application of machine learning tools for NTDs and the challenges to elevate the state-of-the-art of NTDs surveillance, management, and treatment.
translated by 谷歌翻译
PyTorch Adapt is a library for domain adaptation, a type of machine learning algorithm that re-purposes existing models to work in new domains. It is a fully-featured toolkit, allowing users to create a complete train/test pipeline in a few lines of code. It is also modular, so users can import just the parts they need, and not worry about being locked into a framework. One defining feature of this library is its customizability. In particular, complex training algorithms can be easily modified and combined, thanks to a system of composable, lazily-evaluated hooks. In this technical report, we explain in detail these features and the overall design of the library. Code is available at https://www.github.com/KevinMusgrave/pytorch-adapt
translated by 谷歌翻译
Angluin的L*算法使用会员资格和等价查询了解了常规语言的最低（完整）确定性有限自动机（DFA）。它的概率近似正确（PAC）版本用足够大的随机会员查询替换等效查询，以使答案获得高级信心。因此，它可以应用于任何类型的（也是非规范）设备，可以将其视为合成自动机的算法，该算法根据观测值抽象该设备的行为。在这里，我们对Angluin的PAC学习算法对通过引入一些噪音从DFA获得的设备感兴趣。更确切地说，我们研究盎格鲁因算法是否会降低噪声并产生与原始设备更接近原始设备的DFA。我们提出了几种介绍噪声的方法：（1）嘈杂的设备将单词的分类W.R.T.倒置。具有很小概率的DFA，（2）嘈杂的设备在询问其分类W.R.T.之前用小概率修改了单词的字母。 DFA和（3）嘈杂的设备结合了W.R.T.单词的分类。 DFA及其分类W.R.T.柜台自动机。我们的实验是在数百个DFA上进行的。直言不讳地表明，我们的主要贡献表明：（1）每当随机过程产生嘈杂的设备时，盎格鲁因算法的行为都很好，（2）但使用结构化的噪声却很差，并且（3）几乎肯定是随机性的产量具有非竞争性语言的系统。
translated by 谷歌翻译
值得怀疑的是，动物具有其四肢的完美逆模型（例如，必须在每个关节上应用什么肌肉收缩才能到达太空中的特定位置）。但是，在机器人控制中，将ARM的最终效应器移至目标位置或沿目标轨迹需要准确的前进和逆模型。在这里，我们证明，通过从交互中学习过渡（正向）模型，我们可以使用它来推动摊销策略的学习。因此，我们重新审视了与深度主动推理框架有关的策略优化，并描述了一个模块化神经网络体系结构，该模块化神经网络体系结构同时从预测错误中学习了系统动力学以及生成合适的连续控制命令以达到所需参考位置的随机策略。我们通过将模型与线性二次调节器的基线进行比较来评估该模型，并以其他步骤来朝着类似人类的运动控制方向进行比较。
translated by 谷歌翻译
预训练的语言模型（PLM）通常会利用单语和多语言数据集的优势，该数据集可以在线免费获得，以在部署到特定任务中之前获取一般或混合域知识。最近提出了超大型PLM（XLPLM），以声称对较小尺寸的PLM（例如机器翻译（MT）任务）声称最高性能。这些XLPLM包括Meta-AI的WMT21密度24宽-EN-X和NLLB。 \ textIt {在这项工作中，我们检查XLPLM是否绝对优于较小尺寸的PLM，在针对特定域的MTS中进行微调。}我们使用了不同大小的两个不同的内域数据：商业自动化内部数据和\ textbf {临床}在WMT2022上共享了Clinspen2022挑战的任务数据。我们选择受欢迎的玛丽安·赫尔辛基（Marian Helsinki）作为较小尺寸的PLM和来自Meta-AI的两个大型大型转换器作为XLPLM。我们的实验研究表明，1）在较小尺寸的内域商业汽车数据上，XLPLM WMT21密度24宽24宽-EN-X确实显示出使用S \ TextSc {acre} BLEU和HLEU指标的评估得分要好得多。玛丽安（Marian），即使其得分提高率低于微调后的玛丽安（Marian）； 2）在相对较大尺寸的精心准备的临床数据微调上，XLPLM NLLB \ textbf {倾向于失去}其优于较小尺寸的Marian在两个子任务（临床术语和本体概念）上使用Clinspen提供的指标Meteor，Meteor，Marian的优势。 Comet和Rouge-L，并且在所有指标上完全输给了Marian，包括S \ textsc {acre} bleu and Bleu； 3）\ textbf {指标并不总是同意}在相同的任务上使用相同的模型输出相互同意。
translated by 谷歌翻译
深度强化学习（或仅仅是“ RL”）在工业和研究应用中广受欢迎。但是，它仍然受到一些关键限制，从而减慢了广泛的采用。它的性能对初始条件和非确定性敏感。为了释放这些挑战，我们提出了一种建立RL代理合奏的程序，以有效地建立更好的本地决策，以实现长期累积的回报。首次进行了数百个实验，以比较2个电力控制环境中的不同集合构造程序。我们发现，由4个代理商组成的合奏提高了46％的累积奖励，将重现性提高了3.6，并且可以自然有效地训练和预测GPU和CPU。
translated by 谷歌翻译
相机陷阱彻底改变了许多物种的动物研究，这些物种以前由于其栖息地或行为而几乎无法观察到。它们通常是固定在触发时拍摄短序列图像的树上的相机。深度学习有可能克服工作量以根据分类单元或空图像自动化图像分类。但是，标准的深神经网络分类器失败，因为动物通常代表了高清图像的一小部分。这就是为什么我们提出一个名为“弱对象检测”的工作流程，以更快的速度rcnn+fpn适合这一挑战。该模型受到弱监督，因为它仅需要每个图像的动物分类量标签，但不需要任何手动边界框注释。首先，它会使用来自多个帧的运动自动执行弱监督的边界框注释。然后，它使用此薄弱的监督训练更快的RCNN+FPN模型。来自巴布亚新几内亚和密苏里州生物多样性监测活动的两个数据集获得了实验结果，然后在易于重复的测试台上获得了实验结果。
translated by 谷歌翻译
深度神经网络（DNN）的集合已经实现了定性预测，但它们是计算和记忆密集型的。因此，需求越来越多，以使他们通过可用的计算资源来回答大量的请求。与最近针对单个DNN的预测推理服务器和推理框架的计划不同，我们提出了一个新的软件层，以灵活性和效率DNNS的合奏服务。我们的推理系统设计了几项技术创新。首先，我们提出了一个新的程序，以在设备（CPU或GPU）和DNN实例之间找到良好的分配矩阵。它连续运行最差的功能，可以将DNN分配到存储器设备和贪婪的算法中，以优化分配设置并加快合奏。其次，我们根据多个过程设计推理系统，以异步运行：批处理，预测和结合规则，具有有效的内部通信方案，以避免开销。实验显示了极端情况下的灵活性和效率：成功地将12个重型DNN的合奏提供到4 GPU中，而在相反的相反，一个单个DNN多线程为16 GPU。它还胜过简单的基线，该基线包括在图像分类任务上通过高达2.7倍的加速度优化DNN的批处理大小。
translated by 谷歌翻译