ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
蒸馏工作导致语言模型更紧凑,没有严重的性能下降。蒸馏的标准方法培训了针对两个目标的学生模型:特定于任务的目标(例如,语言建模)和模仿目标,并鼓励学生模型的隐藏状态与较大的教师模型类似。在本文中,我们表明,增强蒸馏有利于第三个目标,鼓励学生通过交换干预培训(IIT)来模仿教师的因果计算过程。 IIT推动学生模型成为教师模型的因果抽象 - 一种具有相同因果结构的更简单的模型。 IIT是完全可差异的,容易实施,并与其他目标灵活结合。与伯特标准蒸馏相比,通过IIT蒸馏导致维基百科(屏蔽语言建模)逐步困惑,并对胶水基准(自然语言理解),队(问题接听)和Conll-2003(命名实体识别)进行了改进。
translated by 谷歌翻译
在许多领域,我们有很好的了解有关导致结构的洞察,这将使我们训练有素的型号有用,同时仍然可以以数据驱动的方式学习。为此,我们介绍了交换干预培训的新方法(IIT)。在IIT中,我们(1)与神经模型中的表示的因果模型中的变量和(2)列车在一个神经模型中,以匹配当两个模型中的对齐表示时的基本输入上的因果模型的反事行为它们是第二源输入的值。 IIT完全可分辨,灵活地与其他目标结合,并保证目标因果模型是当其损失最小化时神经模型的ACAUSAL抽象。我们在结构化视觉任务(MNIST-PVR)和导航指令任务(REARCAN)上评估IIT。我们将IIT与多任务培训目标和数据增强进行比较。在我们的所有实验中,IIT在他们实现目标因果模型的意义上实现了最佳结果,并产生了更可观的诠释。
translated by 谷歌翻译
With an ever-growing number of parameters defining increasingly complex networks, Deep Learning has led to several breakthroughs surpassing human performance. As a result, data movement for these millions of model parameters causes a growing imbalance known as the memory wall. Neuromorphic computing is an emerging paradigm that confronts this imbalance by performing computations directly in analog memories. On the software side, the sequential Backpropagation algorithm prevents efficient parallelization and thus fast convergence. A novel method, Direct Feedback Alignment, resolves inherent layer dependencies by directly passing the error from the output to each layer. At the intersection of hardware/software co-design, there is a demand for developing algorithms that are tolerable to hardware nonidealities. Therefore, this work explores the interrelationship of implementing bio-plausible learning in-situ on neuromorphic hardware, emphasizing energy, area, and latency constraints. Using the benchmarking framework DNN+NeuroSim, we investigate the impact of hardware nonidealities and quantization on algorithm performance, as well as how network topologies and algorithm-level design choices can scale latency, energy and area consumption of a chip. To the best of our knowledge, this work is the first to compare the impact of different learning algorithms on Compute-In-Memory-based hardware and vice versa. The best results achieved for accuracy remain Backpropagation-based, notably when facing hardware imperfections. Direct Feedback Alignment, on the other hand, allows for significant speedup due to parallelization, reducing training time by a factor approaching N for N-layered networks.
translated by 谷歌翻译
机器人从能够根据其材料属性进行对象进行分类或操纵对象而受益。这种能力可通过适当的抓握姿势和力选择来确保对复杂物体进行精细操纵。先前的工作集中在触觉或视觉处理上,以确定掌握时间的材料类型。在这项工作中,我们介绍了一种新型的平行机器人抓地力设计,以及一种从握把手指内收集光谱读数和视觉图像的方法。我们训练非线性支持向量机(SVM),该机器可以通过递归估计将要抓住的物体的材料分类,并且随着从指尖到物体的距离降低的距离,置信度越来越高。为了验证硬件设计和分类方法,我们从16种真实和假水果品种(由聚苯乙烯/塑料组成)中收集样品,从而导致一个包含光谱曲线,场景图像和高分辨率纹理图像的数据集,因为对象被掌握,提起并释放。我们的建模方法证明了在32类决策问题中对对象进行分类时的准确性为96.4%。这比最先进的计算机视觉算法的状态在区分视觉上相似的材料方面提高了29.4%。与先前的工作相反,我们的递归估计模型解释了频谱信号强度的增加,并允许随着抓手接近对象做出决策。我们得出的结论是,光谱法是使机器人不仅能够对握住的对象进行分类,还可以理解其潜在的材料组成。
translated by 谷歌翻译
Open Arms是一个新型的开源平台,该平台具有现实的人类机器人手和手臂硬件,并具有28个自由度(DOF),旨在扩展人形机器人抓握和操纵的能力和可访问性。敞开的武器框架包括开放的SDK和开发环境,仿真工具和应用程序开发工具,以构建和操作敞开的武器。本文描述了这些手控制,感应,机制,美学设计以及制造业及其现实世界的应用,并使用远程手工护理机器人进行了现实应用。从2015年到2022年,作者设计并确定了敞开的武器的制造作为低成本,高功能机器人手臂硬件和软件框架,以服务类人机器人的机器人应用以及对低成本假肢的紧急需求,作为一部分汉森机器人索菲亚机器人平台。使用消费产品制造的技术,我们着手定义模块化的低成本技术,以近似人类手的灵敏性和灵敏度。为了证明我们的手的敏捷性和控制,我们提出了一种生成握把残留的CNN(GGR-CNN)模型,该模型可以从实时速度(22ms)的各种对象的输入图像中生成强大的抗抑制剂。我们使用在标准的康奈尔(Cornell)握把数据集上使用模型体系结构实现了92.4%的最新准确性,该数据集包含各种各样的家庭对象。
translated by 谷歌翻译
本文介绍了一种拟合有限维欧几里得空间的沉浸式亚策略的方法。从环境空间到所需的子策略的重建映射是作为编码器的组成而实现的固定初始点。编码器为流量提供时间。编码器二进制图是通过经验风险最小化获得的,并且相对于给定的Encoder-Decoder映射的最小预期重建误差,多余的风险给出了高概率。拟议的方法是对苏斯曼的轨道定理的基本使用,该定理保证了重建图的图像确实包含在沉浸式的子手机中。
translated by 谷歌翻译
互联网公司越来越多地使用机器学习模型来创建分配每个人的个性化政策,为每个人提供最佳预测的待遇。它们通常来自黑盒异质处理效果(HTE)模型,预测单个治疗效果。在本文中,我们专注于(1)HTE模型的学习解释;(2)学习规定待遇任务的可解释政策。我们还提出了指导树木,这一方法可以在没有解释性丧失的情况下集合多种可意识到的政策。这些基于规则的可解释策略很容易部署,避免需要在生产环境中维护HTE模型。
translated by 谷歌翻译
现代软件系统和产品越来越依赖机器学习模型,以基于与用户和系统的交互进行数据驱动的决策,例如计算基础架构。对于更广泛的采用,这种做法必须(i)容纳没有ML背景的软件工程师,并提供(ii)提供优化产品目标的机制。在这项工作中,我们描述了一般原则和特定的端到端毫升平台,为决策和反馈集合提供易于使用的API。循环仪支持从在线数据收集到模拟培训,部署,推理的完整端到端ML生命周期,并扩展支持和调整产品目标的评估和调整。我们概述了平台架构和生产部署的整体影响 - 循环仪当前托管700毫升型号,每秒达到600万决定。我们还描述了学习曲线并总结了平台采用者的经验。
translated by 谷歌翻译
我们考虑以下学习问题:给定由未知非线性系统生成的输入和输出信号对(哪个未被假定是因果或时间不变),我们希望找到具有双曲线切线激活的连续反复性神经网络函数大致再现底层的I / O行为,高度置信度。利用较早的工作与匹配的输出衍生品达到给定的有限顺序,我们以熟悉的系统理论语言重构学习问题,并导出了在学习模型的超标范围内的超标范围的定量保证,样本大小,匹配的衍生数的数量,以及输入,输出和未知I / O映射的规律性属性。
translated by 谷歌翻译