随着摩尔的定律饱和和丹纳德的缩放率撞到了墙壁,传统的冯·诺伊曼系统无法为CNN等计算密集型算法提供GFLOPS/WATT。非常规计算方法的最新趋势使我们希望为此类算法设计高能节能的计算系统。神经形态计算是一种有希望的方法,其脑启发的电路,新兴技术的使用和低功率性质。研究人员使用各种新型技术,例如回忆录,硅光子学,鳍片和碳纳米管来演示神经形态计算机。但是,从神经形态的逻辑设计开始并进行建筑模拟的灵活CAD工具尚未得到证明,以支持这种有希望的范式的兴起。在这个项目中,我们旨在构建Neucasl,这是一个基于OpenSource Python的完整系统CAD框架,用于神经形态逻辑设计,电路模拟以及系统性能和可靠性估计。据我们所知,这是同类产品中的第一个。
translated by 谷歌翻译
We introduce M-VADER: a diffusion model (DM) for image generation where the output can be specified using arbitrary combinations of images and text. We show how M-VADER enables the generation of images specified using combinations of image and text, and combinations of multiple images. Previously, a number of successful DM image generation algorithms have been introduced that make it possible to specify the output image using a text prompt. Inspired by the success of those models, and led by the notion that language was already developed to describe the elements of visual contexts that humans find most important, we introduce an embedding model closely related to a vision-language model. Specifically, we introduce the embedding model S-MAGMA: a 13 billion parameter multimodal decoder combining components from an autoregressive vision-language model MAGMA and biases finetuned for semantic search.
translated by 谷歌翻译
“感应头”是注意力头,它实现了一种简单的算法来完成令牌序列,例如[a] [b] ... [a] - > [b]。在这项工作中,我们提供了一个假设的初步和间接证据,即诱导头可能构成大型大型变压器模型中所有“文本学习”中大多数的机制(即减少在增加代币指数时损失的损失)。我们发现,诱导头在与秘密学习能力突然急剧上的急剧上升的位置完全相同,这是训练损失的颠簸。我们提出了六种互补的证据,认为诱导头可能是任何大小的变压器模型中一般性内部学习的机理来源。对于仅关注的小型模型,我们提供了有力的因果证据。对于具有MLP的较大模型,我们提供相关证据。
translated by 谷歌翻译
研究深度学习的鲁棒性的一个主要挑战是定义了给定神经网络(NN)不变的``毫无意义''扰动集。关于鲁棒性的大多数工作隐含地将人作为参考模型来定义这种扰动。我们的工作通过使用另一个参考NN来定义给定的NN应该不变,从而使对任何NN的依赖概述对任何NN的依赖。这使得衡量鲁棒性等同于衡量两个NN共享不稳定的程度,我们提出了一种称为搅拌的措施。搅拌重新调整现有的表示相似性措施,使其适合衡量共享的不稳定。使用我们的度量,我们能够深入了解共享的不断增长,随着重量初始化,体系结构,损失功能和培训数据集的变化如何变化。我们的实现可在:\ url {https://github.com/nvedant07/stir}中获得。
translated by 谷歌翻译
多年来,为各种对象检测任务开发了数据集。海事域中的对象检测对于船舶的安全和导航至关重要。但是,在海事域中,仍然缺乏公开可用的大规模数据集。为了克服这一挑战,我们提出了Kolomverse,这是一个开放的大型图像数据集,可在Kriso(韩国研究所和海洋工程研究所)的海事域中进行物体检测。我们收集了从韩国21个领土水域捕获的5,845小时的视频数据。通过精心设计的数据质量评估过程,我们从视频数据中收集了大约2,151,470 4K分辨率的图像。该数据集考虑了各种环境:天气,时间,照明,遮挡,观点,背景,风速和可见性。 Kolomverse由五个类(船,浮标,渔网浮标,灯塔和风电场)组成,用于海上对象检测。该数据集的图像为3840美元$ \ times $ 2160像素,据我们所知,它是迄今为止最大的公开数据集,用于海上域中的对象检测。我们进行了对象检测实验,并在几个预训练的最先进的架构上评估了我们的数据集,以显示我们数据集的有效性和实用性。该数据集可在:\ url {https://github.com/maritimedataset/kolomverse}中获得。
translated by 谷歌翻译
Online bipartite-matching platforms are ubiquitous and find applications in important areas such as crowdsourcing and ridesharing. In the most general form, the platform consists of three entities: two sides to be matched and a platform operator that decides the matching. The design of algorithms for such platforms has traditionally focused on the operator's (expected) profit. Since fairness has become an important consideration that was ignored in the existing algorithms a collection of online matching algorithms have been developed that give a fair treatment guarantee for one side of the market at the expense of a drop in the operator's profit. In this paper, we generalize the existing work to offer fair treatment guarantees to both sides of the market simultaneously, at a calculated worst case drop to operator profit. We consider group and individual Rawlsian fairness criteria. Moreover, our algorithms have theoretical guarantees and have adjustable parameters that can be tuned as desired to balance the trade-off between the utilities of the three sides. We also derive hardness results that give clear upper bounds over the performance of any algorithm.
translated by 谷歌翻译
我们争辩说,当模型学习\ texit {good}表示时,我们应该有一个有价值的视角是,应该由人类类似地观察到模型的类似表示的输入。我们使用\ textit {表示反转}来生成映射到相同模型表示的多个输入,然后通过人类调查量化这些输入的感知相似性。我们的方法产生了模型与人类感知对齐的程度的衡量标准。使用这种对准度量,我们评估了用各种学习范例(例如〜监督和自我监督学习)和不同培训损失(标准和强大培训)培训的模型。我们的研究结果表明,具有人类感知的表现的对齐提供了对模型的品质的有用的额外见解。例如,我们发现与人类感知的对齐可以用作模型对不同模型对输出冲突的输入的模型预测的信任的量度。我们还发现模型的各种属性,如其架构,培训范式,培训损失和数据增强在与人类感知一致的学习陈述中起着重要作用。
translated by 谷歌翻译
简单的复合物可以看作是图形的高维概括,这些图表一次在不同分辨率下的顶点之间明确编码多路有序关系。这个概念是检测数据的较高拓扑特征的核心,图形仅编码成对关系的图形仍然遗忘。尽管已尝试将图形神经网络(GNN)扩展到简单复杂设置,但这些方法并未固有地利用网络的基本拓扑结构。我们提出了一个图形卷积模型,用于学习由简单复合物的$ K $学术特征参数化的学习功能。通过频谱操纵其组合$ k $二维的霍奇laplacians,提议的模型可以实现基础简单复合物的学习拓扑特征,特别是,每个$ k $ simplex的距离与最接近的“最佳” $ k $ k $ - $ k $ - $ k $ - th $ k $ - ,有效地提供同源性本地化的替代方案。
translated by 谷歌翻译
深度学习推荐模型(DLRM)是广泛的,占据了相当多的数据中心足迹,并每年增长超过1.5倍。使用模型尺寸很快在Tberytes范围内,利用存储类(SCM)的推理,可以降低功耗和成本。本文评估将内存层级扩展到DLRM的主要挑战,并提出了通过软件定义内存提高性能的不同技术。我们展示了基础技术,如NAND Flash和3DXP的差异化,并涉及现实世界场景,从而可以节省5%至29%。
translated by 谷歌翻译
我们提供了通过局部主成分分析估计切线空间和(光滑,紧凑)欧几里德子多元化的固定空间和固有尺寸所需的采样点数量的明确界限。我们的方法直接估计本地协方差矩阵,其同时允许估计切线空间和歧管的固有尺寸。关键争论涉及矩阵浓度不等式,是用于平坦化歧管的Wasserstein,以及关于Wassersein距离的协方差矩阵的Lipschitz关系。
translated by 谷歌翻译