联合学习（FL）以来已提议已应用于许多领域，例如信用评估，医疗等。由于网络或计算资源的差异，客户端可能不会同时更新其渐变可能需要花费等待或闲置的时间。这就是为什么需要异步联合学习（AFL）方法。AFL中的主要瓶颈是沟通。如何在模型性能和通信成本之间找到平衡是AFL的挑战。本文提出了一种新的AFL框架VAFL。我们通过足够的实验验证了算法的性能。实验表明，VAFL可以通过48.23 \％的平均通信压缩速率降低约51.02 \％的通信时间，并允许模型更快地收敛。代码可用于\ url {https://github.com/robai-lab/vafl}

Most existing image inpainting algorithms are based on a single view, struggling with large holes or the holes containing complicated scenes. Some reference-guided algorithms fill the hole by referring to another viewpoint image and use 2D image alignment. Due to the camera imaging process, simple 2D transformation is difficult to achieve a satisfactory result. In this paper, we propose 3DFill, a simple and efficient method for reference-guided image inpainting. Given a target image with arbitrary hole regions and a reference image from another viewpoint, the 3DFill first aligns the two images by a two-stage method: 3D projection + 2D transformation, which has better results than 2D image alignment. The 3D projection is an overall alignment between images and the 2D transformation is a local alignment focused on the hole region. The entire process of image alignment is self-supervised. We then fill the hole in the target image with the contents of the aligned image. Finally, we use a conditional generation network to refine the filled image to obtain the inpainting result. 3DFill achieves state-of-the-art performance on image inpainting across a variety of wide view shifts and has a faster inference speed than other inpainting models.

Conceptual knowledge is fundamental to human cognition and knowledge bases. However, existing knowledge probing works only focus on evaluating factual knowledge of pre-trained language models (PLMs) and ignore conceptual knowledge. Since conceptual knowledge often appears as implicit commonsense behind texts, designing probes for conceptual knowledge is hard. Inspired by knowledge representation schemata, we comprehensively evaluate conceptual knowledge of PLMs by designing three tasks to probe whether PLMs organize entities by conceptual similarities, learn conceptual properties, and conceptualize entities in contexts, respectively. For the tasks, we collect and annotate 24k data instances covering 393 concepts, which is COPEN, a COnceptual knowledge Probing bENchmark. Extensive experiments on different sizes and types of PLMs show that existing PLMs systematically lack conceptual knowledge and suffer from various spurious correlations. We believe this is a critical bottleneck for realizing human-like cognition in PLMs. COPEN and our codes are publicly released at https://github.com/THU-KEG/COPEN.

The ongoing amalgamation of UAV and ML techniques is creating a significant synergy and empowering UAVs with unprecedented intelligence and autonomy. This survey aims to provide a timely and comprehensive overview of ML techniques used in UAV operations and communications and identify the potential growth areas and research gaps. We emphasise the four key components of UAV operations and communications to which ML can significantly contribute, namely, perception and feature extraction, feature interpretation and regeneration, trajectory and mission planning, and aerodynamic control and operation. We classify the latest popular ML tools based on their applications to the four components and conduct gap analyses. This survey also takes a step forward by pointing out significant challenges in the upcoming realm of ML-aided automated UAV operations and communications. It is revealed that different ML techniques dominate the applications to the four key modules of UAV operations and communications. While there is an increasing trend of cross-module designs, little effort has been devoted to an end-to-end ML framework, from perception and feature extraction to aerodynamic control and operation. It is also unveiled that the reliability and trust of ML in UAV operations and applications require significant attention before full automation of UAVs and potential cooperation between UAVs and humans come to fruition.

尽管在许多应用中取得了巨大的成功，但深度神经网络在实践中并不总是强大的。例如，用于分类任务的卷积神经元网络（CNN）模型通常在对某些特定类别的对象分类时表现不佳。在这项工作中，我们关注的是修补CNN模型的弱部分，而不是通过整个模型的昂贵重新培训来改进它。受到软件工程中模块化和组成的基本概念的启发，我们提出了一种压缩模块化方法CNNSplitter，该方法将$ N $ class分类的强CNN模型分解为$ n $ n $ n $ n $ smill CNN模块。每个模块都是一个子模型，其中包含强模型的卷积内核的一部分。为了修补对目标类（TC）进行不满意的弱CNN模型，我们将弱的CNN模型与从强CNN模型获得的相应模块组成。因此，弱CNN模型识别TC的能力可以通过修补来提高。此外，识别非TCS的能力也得到了提高，因为将样品错误分类为TC可以正确分类为非TCS。在三个广泛使用的数据集上使用两个代表性CNN的实验结果表明，在精度和召回方面，TC的平均改进分别为12.54％和2.14％。此外，修补程序将非TCS的准确性提高了1.18％。结果表明，CNNSplitter可以通过模块化和组成来修补弱的CNN模型，从而为开发可靠的CNN模型提供了新的解决方案。

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

结构磁共振成像研究表明，大脑解剖异常与早产儿的认知缺陷有关。脑成熟和几何特征可以与机器学习模型一起使用，以预测以后的神经发育缺陷。但是，传统的机器学习模型将遭受较大的功能比率（即大量功能，但少数实例/样本）。合奏学习是一种范式，从战略上生成和集成了机器学习分类器库，并已成功地用于各种预测性建模问题，以提高模型性能。属性（即功能）包装方法是最常用的特征分区方案，它随机和反复从整个功能集中绘制特征子集。尽管属性装袋方法可以有效地降低特征维度以处理大型功能与实用比率，但它缺乏对域知识和特征之间的潜在关系的考虑。在这项研究中，我们提出了一种新型的本体论引导属性分区（OAP）方法，以通过考虑特征之间的特定于域的关系来更好地绘制特征子集。有了更好的分区功能子集，我们开发了一个合奏学习框架，该框架称为OAP汇总学习（OAP-EL）。我们应用了OAP-EL，以使用定量脑成熟和在非常早产的年龄在期限年龄获得的定量脑成熟和几何特征来预测2岁年龄的认知缺陷。我们证明，提出的OAP-EL方法显着优于同行集合学习和传统的机器学习方法。

部署各种深度学习（DL）型号有效地推动了DL编译器的研究。生成优化的张量码的难度驱动DL编译器以询问自动调整方法，并且越来越多的需求需要增加自动调整效率和质量。目前，DL编译器将输入DL模型分区为几个子图，并利用自动调整以找到这些子图的最佳张量代码。然而，现有的自学方法通常将子图视为个体，并且在其上忽略了它们的相似性，因此在有限的时间预算下未能利用更好的张力代码。我们向DL编译器提出Familyseer，即使有限的时间预算也可以生成更好的张量码。 Familyseer利用子图之间的相似性，并且子图之间的差异可以将它们组织成示例家庭，其中调整一个子图也可以改善同一家庭内的其他子图。每个家庭的成本模型获得了更多由家庭产生的纯化培训样本，并更准确，以便通过成本模型用轻量级估计来替换真正硬件上的昂贵测量。我们的实验表明，FamilySeer可以比最先进的自动调整框架更有效地生成模型代码，比最先进的自动调整框架更有效。

虽然现代形象翻译技术可以创造光电态合成图像，但它们具有有限的风格可控性，因此可能遭受翻译误差。在这项工作中，我们表明激活功能是控制图像合成方向的重要组件之一。具体地，我们明确证明整流器的斜率参数可以改变数据分布并独立使用以控制翻译方向。为了提高风格可控性，提出了两种简单但有效的技术，包括自适应Relu（Adarelu）和结构自适应功能。 Adarelu可以根据目标风格动态调整斜率参数，并且可以用于通过与自适应实例归一化（Adain）组合来提高可控性。同时，结构适应性功能使整流器能够更有效地操纵特征图的结构。它由所提出的结构卷积（Struconv）组成，一种有效的卷积模块，可以根据AADAIN指定的平均值和方差选择要激活的区域。广泛的实验表明，所提出的技术可以大大提高基于风格的图像转换任务的网络可控性和输出分集。

B型主动脉解剖（TBAD）是最严重的心血管事件之一，其特征在于每年的年龄发病率，以及疾病预后的严重程度。目前，计算机断层摄影血管造影（CTA）已被广泛采用TBAD的诊断和预后。 CTA中真菌（TL），假腔（FL）和假腔血栓（FLT）的精确分割对于解剖学特征的精确定量，CTA是至关重要的。然而，现有的作品仅关注TL和FL而不考虑FLT。在本文中，我们提出了ImageTBAD，TBAD的第一个3D计算断层造影血管造影（CTA）图像数据集具有TL，FL和FLT的注释。该建议的数据集包含100个TBAD CTA图像，与现有的医学成像数据集相比，这是体面的大小。由于FLT几乎可以沿着主动脉出现具有不规则形状的主动脉，FLT的分割呈现了各种各样的分割问题，其中目标存在于具有不规则形状的各种位置。我们进一步提出了一种用于TBAD的自动分割的基线方法。结果表明，基线方法可以通过现有的主动脉和TL分段实现与现有工作的可比结果。然而，FLT的分割精度仅为52％，这使大型改进室并显示了我们数据集的挑战。为了促进进一步研究这一具有挑战性的问题，我们的数据集和代码将发布给公众。