已知尖峰神经网络（SNN）对于神经形态处理器实施非常有效，可以在传统深度学习方法上提高能效和计算潜伏期的数量级。最近，随着监督培训算法对SNN的背景，最近也使可比的算法性能成为可能。但是，包括音频，视频和其他传感器衍生数据在内的信息通常被编码为不适合SNN的实用值信号，从而阻止网络利用SPIKE定时信息。因此，从实价信号到尖峰的有效编码是至关重要的，并且会显着影响整个系统的性能。为了有效地将信号编码为尖峰，必须考虑与手头任务相关的信息以及编码尖峰的密度。在本文中，我们在扬声器独立数字分类系统的背景下研究了四种尖峰编码方法：发送三角洲，第一次尖峰的时间，漏水的集成和火神经元和弯曲尖刺算法。我们首先表明，与传统的短期傅立叶变换相比，在编码生物启发的耳蜗时，使用较少的尖峰会产生更高的分类精度。然后，我们证明了两种对三角洲变体的发送导致分类结果可与最先进的深卷积神经网络基线相媲美，同时降低了编码的比特率。最后，我们表明，几种编码方法在某些情况下导致比传统深度学习基线的性能提高，进一步证明了编码实用值信号中编码算法的尖峰力量艺术技术。

Data heterogeneity across clients is a key challenge in federated learning. Prior works address this by either aligning client and server models or using control variates to correct client model drift. Although these methods achieve fast convergence in convex or simple non-convex problems, the performance in over-parameterized models such as deep neural networks is lacking. In this paper, we first revisit the widely used FedAvg algorithm in a deep neural network to understand how data heterogeneity influences the gradient updates across the neural network layers. We observe that while the feature extraction layers are learned efficiently by FedAvg, the substantial diversity of the final classification layers across clients impedes the performance. Motivated by this, we propose to correct model drift by variance reduction only on the final layers. We demonstrate that this significantly outperforms existing benchmarks at a similar or lower communication cost. We furthermore provide proof for the convergence rate of our algorithm.

深神经网络（DNN）通常被设计为依次级联的可区分块/层，其预测模块仅连接到其最后一层。 DNN可以与沿主链的多个点的预测模块相连，其中推理可以在中间阶段停止而无需通过所有模块。最后一个退出点可能会提供更好的预测错误，但还涉及更多的计算资源和延迟。就预测误差和成本而言，一个“最佳”的出口是可取的。最佳出口点可能取决于任务的潜在分布，并且可能会从一个任务类型变为另一种任务类型。在神经推断期间，实例的基础真理可能无法获得，并且每个出口点的错误率无法估算。因此，人们面临在无监督环境中选择最佳出口的问题。先前的工作在离线监督设置中解决了此问题，假设可以使用足够的标记数据来估计每个出口点的错误率并调整参数以提高准确性。但是，经过预训练的DNN通常被部署在新领域中，可能无法提供大量的地面真相。我们将退出选择的问题建模为无监督的在线学习问题，并使用匪徒理论来识别最佳出口点。具体而言，我们专注于弹性BERT，这是一种预先训练的多EXIT DNN，以证明它“几乎”满足了强大的优势（SD）属性，从而可以在不知道地面真相标签的情况下学习在线设置中的最佳出口。我们开发了名为UEE-UCB的基于上限（UCB）的上限（UCB）算法，该算法可证明在SD属性下实现了子线性后悔。因此，我们的方法提供了一种自适应学习多种exit DNN中特定于域特异性的最佳出口点的方法。我们从IMDB和Yelp数据集上进行了验证算法验证我们的算法。

ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。

解剖跟踪数据提供了有关脑电路的详细信息，这些信息对于解决扩散MRI拖拉术中的某些常见误差必不可少。然而，由于截断，噪声和伪影的存在以及强度/对比度变化，因此在跟踪数据上对纤维束的自动检测具有挑战性。在这项工作中，我们提出了一种具有自律损失函数的深度学习方法，该方法将基于解剖的损失函数构成了基于解剖学的约束，以准确地分割了猕猴大脑的示踪剂切片上的纤维束。同样，鉴于手动标签的可用性有限，我们使用半监督的培训技术有效地使用未标记的数据来改善性能和位置限制，以进一步降低误报。对不同猕猴的看不见的方法的评估，产生了令人鼓舞的结果，真正的正速率约为0.90。我们方法的代码可从https://github.com/v-sundaresan/fiberbundle_seg_tracing获得。

计算光学成像（COI）系统利用其设置中的光学编码元素（CE）在单个或多个快照中编码高维场景，并使用计算算法对其进行解码。 COI系统的性能很大程度上取决于其主要组件的设计：CE模式和用于执行给定任务的计算方法。常规方法依赖于随机模式或分析设计来设置CE的分布。但是，深神经网络（DNNS）的可用数据和算法功能已在CE数据驱动的设计中开辟了新的地平线，该设计共同考虑了光学编码器和计算解码器。具体而言，通过通过完全可区分的图像形成模型对COI测量进行建模，该模型考虑了基于物理的光及其与CES的相互作用，可以在端到端优化定义CE和计算解码器的参数和计算解码器（e2e）方式。此外，通过在同一框架中仅优化CE，可以从纯光学器件中执行推理任务。这项工作调查了CE数据驱动设计的最新进展，并提供了有关如何参数化不同光学元素以将其包括在E2E框架中的指南。由于E2E框架可以通过更改损耗功能和DNN来处理不同的推理应用程序，因此我们提出低级任务，例如光谱成像重建或高级任务，例如使用基于任务的光学光学体系结构来增强隐私的姿势估计，以维护姿势估算。最后，我们说明了使用全镜DNN以光速执行的分类和3D对象识别应用程序。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

Ever since the first microscope by Zacharias Janssen in the late 16th century, scientists have been inventing new types of microscopes for various tasks. Inventing a novel architecture demands years, if not decades, worth of scientific experience and creativity. In this work, we introduce Differentiable Microscopy ($\partial\mu$), a deep learning-based design paradigm, to aid scientists design new interpretable microscope architectures. Differentiable microscopy first models a common physics-based optical system however with trainable optical elements at key locations on the optical path. Using pre-acquired data, we then train the model end-to-end for a task of interest. The learnt design proposal can then be simplified by interpreting the learnt optical elements. As a first demonstration, based on the optical 4-$f$ system, we present an all-optical quantitative phase microscope (QPM) design that requires no computational post-reconstruction. A follow-up literature survey suggested that the learnt architecture is similar to the generalized phase contrast method developed two decades ago. Our extensive experiments on multiple datasets that include biological samples show that our learnt all-optical QPM designs consistently outperform existing methods. We experimentally verify the functionality of the optical 4-$f$ system based QPM design using a spatial light modulator. Furthermore, we also demonstrate that similar results can be achieved by an uninterpretable learning based method, namely diffractive deep neural networks (D2NN). The proposed differentiable microscopy framework supplements the creative process of designing new optical systems and would perhaps lead to unconventional but better optical designs.

卷积神经网络（CNNS）现在可以实现挑战对象识别任务的人为级别性能。 CNNS也是在视觉识别任务中预测神经和行为响应方面的主要定量模型。然而，有一个广泛接受的CNN模型批评：与新生动物不同，这些动物迅速和高效地学习，CNN被认为是“饥饿的数据”，需要大量的训练数据来开发用于对象识别的准确模型。这种批评挑战了使用CNNS作为可视化发展模型的承诺。在这里，我们通过对新生儿小鸡和CNNS进行平行控制饲养的实验，直接检查CNNS比新生动物更饥饿的数据。我们在严格控制的视觉环境中提出了新生儿小鸡，然后通过在视频游戏引擎中构建虚拟动物室来模拟该环境中提供的培训数据。我们记录了通过虚拟室移动的代理获取的视觉图像，并使用这些图像来训练CNN。当CNN收到与小鸡相似的视觉训练数据时，CNN成功解决了与小鸡相同的具有挑战性的视图 - 不变的对象识别任务。因此，CNNS并不多于动物的数据：CNN和CHICK两者都从单个对象的训练数据成功开发了强大的对象模型。

集体行为在动物王国范围内普遍存在。然而，迄今为止，集体行为的发展和机械基础尚未正式建立。什么学会机制推动新生动物中集体行为的发展？在这里，我们使用了深度增强学习和好奇心驱动的学习 - 深深植根于心理和神经科学研究的两种学习机制 - 建立开发集体行为的新生人工代理。像新生动物一样，我们的代理商学习来自自然主义环境中的原始感官投入的集体行为。我们的代理商还学习没有外部奖励的集体行为，只使用内在的动机（好奇心）来推动学习。具体而言，当我们在具有组织中的自然视觉环境中提高人工剂时，该代理自发地发展为自我运动，对象识别，以及对组织的偏好，迅速学习集体行为所需的所有核心技能。这项工作桥接了高维感官输入和集体动作之间的划分，导致了集体动物行为的像素与动作模型。更一般地说，我们表明，两个通用学习机制 - 深度加强学习和好奇心驱动的学习 - 足以学习来自无监督的自然体验的集体行为。