我们展示了CFU Playground，这是一个全堆栈的开源框架，可实现用于嵌入式ML系统的机器学习（ML）加速器的快速和迭代设计。我们的工具链紧紧集成开源软件，RTL发电机和FPGA工具，用于综合，地点和路线。此全堆栈开发框架为工程师提供了访问探索定制架构，这些架构是为嵌入式ML定制和共同优化的。快速，部署型材优化反馈循环让ML硬件和软件开发人员在对定制方面相对较小的投资中取得重大回报。使用CFU Playground的设计循环，我们在CPU和加速器之间显示了大量的Speedups（55x-75x）和设计空间探索。

基于深度学习的技术实现最新的技术会导致广泛的图像重建任务，例如压缩传感。这些方法几乎总是具有超参数，例如在优化损耗函数中平衡不同项的权重系数。典型的方法是训练模型，以通过某些经验或理论理由确定的超参数设置。因此，在推理时，模型只能计算与预定的超参数值相对应的重建。在这项工作中，我们提出了一种基于超网络的方法，称为HyperRecon，以训练不可知论到超参数设置的重建模型。在推理时，HyperRecon可以有效地产生不同的重建，每个重建都对应于不同的高参数值。在此框架中，用户有权根据自己的判断选择最有用的输出。我们使用两个大规模和公共可用的MRI数据集演示了压缩感测，超分辨率和去索任务的方法。我们的代码可在https://github.com/alanqrwang/hyhyperrecon上找到。

优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。

Adversarial examples are commonly viewed as a threat to ConvNets. Here we present an opposite perspective: adversarial examples can be used to improve image recognition models if harnessed in the right manner. We propose AdvProp, an enhanced adversarial training scheme which treats adversarial examples as additional examples, to prevent overfitting. Key to our method is the usage of a separate auxiliary batch norm for adversarial examples, as they have different underlying distributions to normal examples.We show that AdvProp improves a wide range of models on various image recognition tasks and performs better when the models are bigger. For instance, by applying AdvProp to the latest EfficientNet-B7 [41] on ImageNet, we achieve significant improvements on ImageNet (+0.7%), ImageNet-C (+6.5%), ImageNet-A (+7.0%) and Stylized-ImageNet (+4.8%). With an enhanced EfficientNet-B8, our method achieves the state-of-the-art 85.5% ImageNet top-1 accuracy without extra data. This result even surpasses the best model in [24] which is trained with 3.5B Instagram images (∼3000× more than ImageNet) and ∼9.4× more parameters. Models are available at https://github.com/tensorflow/tpu/tree/ master/models/official/efficientnet.

机器学习（ML）算法在帮助不同学科和机构的科学社区解决大型和多样化的数据问题方面表现出了增长的趋势。但是，许多可用的ML工具在编程方面要求且计算成本高昂。 MlexChange项目旨在建立一个配备有能力工具的协作平台，该平台使科学家和设施使用者没有深刻的ML背景来使用ML和计算资源进行科学发现。在高水平上，我们针对完整的用户体验，在该体验中，可以通过Web应用程序可以轻松获得管理和交换ML算法，工作流和数据。到目前为止，我们已经构建了四个主要组件，即中央职位管理器，集中式内容注册表，用户门户和搜索引擎，并成功地将这些组件部署到了测试服务器上。由于每个组件都是一个独立的容器，因此可以轻松地在不同尺度的服务器上部署整个平台或其个人服务，从笔记本电脑（通常是单个用户）到高性能群集（HPC）（同时）通过许多用户。因此，MlexChange使用方案使灵活性变得灵活 - 用户可以从远程服务器访问服务和资源，也可以在其本地网络中运行整个平台或其个人服务。

Majorana示威者是一项领先的实验，寻找具有高纯净锗探测器（HPGE）的中性s中性双β衰变。机器学习提供了一种最大化这些检测器提供的信息量的新方法，但是与传统分析相比，数据驱动的性质使其不可解释。一项可解释性研究揭示了机器的决策逻辑，使我们能够从机器中学习以反馈传统分析。在这项工作中，我们介绍了Majorana演示者数据的第一个机器学习分析。这也是对任何锗探测器实验的第一个可解释的机器学习分析。训练了两个梯度增强的决策树模型，以从数据中学习，并进行了基于游戏理论的模型可解释性研究，以了解分类功率的起源。通过从数据中学习，该分析识别重建参数之间的相关性，以进一步增强背景拒绝性能。通过从机器中学习，该分析揭示了新的背景类别对相互利用的标准Majorana分析的重要性。该模型与下一代锗探测器实验（如传说）高度兼容，因为它可以同时在大量探测器上进行训练。

为了使腿部机器人与人类和动物的运动能力相匹配，它们不仅必须产生强大的周期性步行和跑步，而且还必须在名义运动步态和更专业的瞬态操纵之间无缝切换。尽管最近在两足机器人的控制方面取得了进步，但几乎没有集中精力产生高度动态的行为。利用强化学习制定控制腿机器人的政策的最新工作表明，在产生强大的步行行为方面取得了成功。但是，这些学识渊博的政策难以在单个网络上表达多种不同行为。受腿部机器人的常规优化控制技术的启发，这项工作应用了一个经常性的策略来执行四步，90度转弯，使用从优化的单个刚体模型轨迹生成的参考数据进行了训练。我们提出了一个新型的培训框架，该培训框架使用结尾终端奖励从预先计算的轨迹数据中学习特定行为，并证明了双皮亚机器人Cassie上的硬件成功转移。

在这项工作中，我们提出了一种方法，用于生成降低的模型参考轨迹，用于用于双皮亚机器人的高度动态操作的一般类别，用于SIM卡之间，用于SIM卡至现实的增强学习。我们的方法是利用单个刚体模型（SRBM）来优化轨迹的库库，以用作学习政策的奖励函数中的专家参考。该方法将模型的动态旋转和翻译行为转化为全阶机器人模型，并成功将其传输到真实硬件。 SRBM的简单性允许快速迭代和行为改进，而基于学习的控制器的鲁棒性则可以将高度动态的动作传输到硬件。 ％在这项工作中，我们介绍了一套可转移性约束，将SRBM动态修改为实际的两足机器人硬件，这是我们为动态步进，转动操作和跳跃创建最佳轨迹的框架。在这项工作中，我们介绍了一套可转移性约束，将SRBM动力学修改为实际的双皮亚机器人硬件，我们为各种高度动态的操作创建最佳轨迹的框架，以及我们整合参考轨迹的高速强化跑步轨迹的方法学习政策。我们验证了在两足机器人Cassie上的方法，我们成功地展示了高达3.0 m/s的高度动态接地步态。

自从深度神经网络被广泛应用以来，计算病理学领域已经取得了巨大的进步。这些网络通常需要大量注释的数据来训练大量参数。但是，注释大型组织病理学数据集需要大量精力。我们引入了一个轻巧且可解释的模型，用于核检测和弱监督的分割。它仅需要在孤立的核上进行注释，而不是数据集中的所有核。此外，这是一个生成的组成模型，首先定位核的一部分，然后学习各部分的空间相关性，以进一步定位核。这个过程在预测中带来了可解释性。内部数据集的经验结果表明，在检测中，提出的方法比其深层网络对应物获得了可比性或更好的性能，尤其是在注释数据受到限制的情况下。它还优于流行的弱监督分割方法。提出的方法可能是深度学习方法渴望数据问题的替代解决方案。

In this paper we explore the task of modeling (semi) structured object sequences; in particular we focus our attention on the problem of developing a structure-aware input representation for such sequences. In such sequences, we assume that each structured object is represented by a set of key-value pairs which encode the attributes of the structured object. Given a universe of keys, a sequence of structured objects can then be viewed as an evolution of the values for each key, over time. We encode and construct a sequential representation using the values for a particular key (Temporal Value Modeling - TVM) and then self-attend over the set of key-conditioned value sequences to a create a representation of the structured object sequence (Key Aggregation - KA). We pre-train and fine-tune the two components independently and present an innovative training schedule that interleaves the training of both modules with shared attention heads. We find that this iterative two part-training results in better performance than a unified network with hierarchical encoding as well as over, other methods that use a {\em record-view} representation of the sequence \cite{de2021transformers4rec} or a simple {\em flattened} representation of the sequence. We conduct experiments using real-world data to demonstrate the advantage of interleaving TVM-KA on multiple tasks and detailed ablation studies motivating our modeling choices. We find that our approach performs better than flattening sequence objects and also allows us to operate on significantly larger sequences than existing methods.