Recently, Neural architecture search has achieved great success on classification tasks for mobile devices. The backbone network for object detection is usually obtained on the image classification task. However, the architecture which is searched through the classification task is sub-optimal because of the gap between the task of image and object detection. As while work focuses on backbone network architecture search for mobile device object detection is limited, mainly because the backbone always requires expensive ImageNet pre-training. Accordingly, it is necessary to study the approach of network architecture search for mobile device object detection without expensive pre-training. In this work, we propose a mobile object detection backbone network architecture search algorithm which is a kind of evolutionary optimized method based on non-dominated sorting for NAS scenarios. It can quickly search to obtain the backbone network architecture within certain constraints. It better solves the problem of suboptimal linear combination accuracy and computational cost. The proposed approach can search the backbone networks with different depths, widths, or expansion sizes via a technique of weight mapping, making it possible to use NAS for mobile devices detection tasks a lot more efficiently. In our experiments, we verify the effectiveness of the proposed approach on YoloX-Lite, a lightweight version of the target detection framework. Under similar computational complexity, the accuracy of the backbone network architecture we search for is 2.0% mAP higher than MobileDet. Our improved backbone network can reduce the computational effort while improving the accuracy of the object detection network. To prove its effectiveness, a series of ablation studies have been carried out and the working mechanism has been analyzed in detail.

构建一个通用视频语言模型，用于解决各种视频理解任务（例如，文本视频检索，视频问答）是对机器学习领域的开放挑战。为了实现这一目标，最近的尝试训练模型，通常由单峰和跨模式的特征编码器组成，并具有受监督或成对的对比度的预文本任务。尽管提供了有吸引力的通用性，但最终的模型必须在效率和性能之间妥协。我们认为这些缺陷是由它们的预训练策略\ Textemdash引起的，它们不能很好地对齐和融合不同方式的特征。然后，我们将三叶草（一种相关的视频预培训方法）介绍给一个通用的视频语言模型，该模型用于解决既不效率也不妥协的多个视频理解任务。它通过新的三模式比对预训练任务来改善跨模式特征对齐和融合。此外，我们建议通过合并蒙面样品的学习和新颖的成对排名损失来增强三模式对齐。三叶草表现出了出色的一般性。它在多个下游任务上建立了新的最新技术，包括零射击和微调设置的三个检索任务，以及八个视频问答任务。代码和预培训模型将在https://github.com/leeyn-43/clover上发布。

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。

我们从实际应用的角度重新审视了现有的出色变压器。他们中的大多数甚至不如基本的重新连接系列效率那么高，并且偏离了现实的部署方案。这可能是由于当前的标准测量计算效率，例如FLOPS或参数是单方面的，次优的和对硬件的不敏感的。因此，本文直接将特定硬件的紧张延迟视为效率指标，该指标提供了涉及计算能力，内存成本和带宽的更全面的反馈。基于一系列受控实验，这项工作为面向浓度和部署的网络设计提供了四个实用指南，例如，在阶段级别，早期的变压器和晚期CNN，在Block Level的早期CNN和Late Transformer。因此，提出了一个面向Tensortrt的变压器家族，缩写为TRT-VIT。广泛的实验表明，在不同的视觉任务（例如，图像分类，对象检测和语义细分）方面，TRT-VIT显着优于现有的Convnet和视觉变压器。例如，在82.7％的Imagenet-1k Top-1精度下，TRT-VIT比CSWIN快2.7 $ \ times $，比双胞胎快2.0 $ \ times $。在MS-COCO对象检测任务上，TRT-VIT与双胞胎达到可比的性能，而推理速度则增加了2.8 $ \ times $。

Recent state-of-the-art one-stage instance segmentation model SOLO divides the input image into a grid and directly predicts per grid cell object masks with fully-convolutional networks, yielding comparably good performance as traditional two-stage Mask R-CNN yet enjoying much simpler architecture and higher efficiency. We observe SOLO generates similar masks for an object at nearby grid cells, and these neighboring predictions can complement each other as some may better segment certain object part, most of which are however directly discarded by non-maximum-suppression. Motivated by the observed gap, we develop a novel learning-based aggregation method that improves upon SOLO by leveraging the rich neighboring information while maintaining the architectural efficiency. The resulting model is named SODAR. Unlike the original per grid cell object masks, SODAR is implicitly supervised to learn mask representations that encode geometric structure of nearby objects and complement adjacent representations with context. The aggregation method further includes two novel designs: 1) a mask interpolation mechanism that enables the model to generate much fewer mask representations by sharing neighboring representations among nearby grid cells, and thus saves computation and memory; 2) a deformable neighbour sampling mechanism that allows the model to adaptively adjust neighbor sampling locations thus gathering mask representations with more relevant context and achieving higher performance. SODAR significantly improves the instance segmentation performance, e.g., it outperforms a SOLO model with ResNet-101 backbone by 2.2 AP on COCO \texttt{test} set, with only about 3\% additional computation. We further show consistent performance gain with the SOLOv2 model.

最近，DETR通过变压器启动了视觉任务的解决方案，它直接将图像特征映射转换为对象检测结果。虽然有效，但翻译完整的特征映射可能是由于背景的某些区域的冗余计算而成本。在这项工作中，我们封装了将空间冗余降低到新型民意调查和池（PNP）采样模块中的想法，其中我们构建了一个端到端的PNP-DETR架构，可在空间上自适应地分配其计算以更有效。具体地，PNP模块将图像特征映射到精细的前景对象特征向量和少量粗糙背景上下文特征向量。变压器模型在细粗糙度空间内的信息交互，并将要素转化为检测结果。此外，通过改变采样的特征长度，PNP - 增强模型可以通过单个模型立即在性能和计算之间实现各种期望的权衡，而不需要将多个模型作为现有方法训练。因此，在不同的情况下，它提供了更大的部署灵活性，不同的情况下具有不同的计算约束。我们进一步验证了PNP模块对Panoptic分割和最近的基于变压器的图像识别模型VIT的普遍性，并显示了一致的效率增益。我们相信我们的方法对变压器进行有效的视觉视觉分析，其中通常观察到空间冗余。代码将在\ url {https://github.com/twangnh/pnp-detr}上使用。

持续学习依次解决学习不同任务的设置。尽管以前的许多解决方案，但大多数仍然遭受重大忘记或昂贵的记忆成本。在这项工作中，针对这些问题，我们首先通过信息理论的镜头来研究持续学习过程，并观察到在学习时从前一个任务中的参数丢失的遗忘。新任务。从这个角度来看，我们提出了一种名为位级信息保留（BLIP）的新的连续学习方法，其通过更新位电平的参数来保留模型参数的信息增益，这可以用参数量化方便地实现。更具体地，BLIP首先列举具有对新输入任务的权重量化的神经网络，然后估计由任务数据提供的每个参数上的信息增益，以确定要冻结的比特以防止遗忘。我们进行广泛的实验，从分类任务到加强学习任务，结果表明，我们的方法更好地生成了与以前最先进的结果相比的结果。实际上，昙花一现接近零忘记，同时只需要在连续学习中需要恒定的记忆开销。

先前的关于自我监督预训练的研究重点是联合培训方案，在该场景中，假定大量未标记的数据一次性地将其作为输入，只有那时才受过培训的学习者。不幸的是，这种问题设置通常是不切实际的，即使不是不可行的，因为许多现实世界的任务依赖于顺序学习，例如，数据是以流方式分散或收集的。在本文中，我们对通过流数据进行了对自我监督的预训练进行了首次彻底而专门的研究，旨在阐明这种被忽视的设置下的模型行为。具体而言，我们在来自ImageNet和域内的四类预训练流数据数据上预先培训超过500个模型，并在三种类型的下游任务和12个不同的下游数据集上对其进行评估。我们的研究表明，以某种方式超出了我们的期望，通过简单的数据重播或参数正则化，顺序的自我监督预训练的预训练证明是联合预训练的有效替代方法，因为前者的性能主要与这些培训相同后者。此外，灾难性的遗忘是顺序监督学习中的一个常见问题，在顺序的自学学习（SSL）中得到了极大的缓解，这是通过我们对损失景观中最小值的表示和敏锐度的全面经验分析来很好地证明的。因此，我们的发现表明，在实践中，对于SSL，可以主要通过顺序学习来代替繁琐的联合培训，这反过来又可以更广泛的潜在应用方案。

探讨了语言建模流行的变形金刚，用于近期解决视觉任务，例如，用于图像分类的视觉变压器（VIT）。 VIT模型将每个图像分成具有固定长度的令牌序列，然后应用多个变压器层以模拟它们的全局关系以进行分类。然而，当从像想象中的中型数据集上从头开始训练时，VIT对CNNS达到较差的性能。我们发现它是因为：1）输入图像的简单标记未能模拟相邻像素之间的重要局部结构，例如边缘和线路，导致训练采样效率低。 2）冗余注意骨干骨干设计对固定计算预算和有限的训练样本有限的具有限制性。为了克服这些限制，我们提出了一种新的令牌到令牌视觉变压器（T2T-VIT），它包含1）层 - 明智的代币（T2T）转换，通过递归聚合相邻来逐步地结构于令牌到令牌。代币进入一个令牌（令牌到令牌），这样可以建模由周围令牌所代表的本地结构，并且可以减少令牌长度; 2）一种高效的骨干，具有深度狭窄的结构，用于在实证研究后CNN建筑设计的激励变压器结构。值得注意的是，T2T-VIT将Vanilla Vit的参数计数和Mac减少了一半，同时从想象中从头开始训练时，改善了超过3.0 \％。它还优于Endnets并通过直接培训Imagenet训练来实现与MobileNets相当的性能。例如，T2T-VTO与Reset50（21.5M参数）的可比大小（21.5M参数）可以在图像分辨率384 $ \ Times 384上实现83.3 \％TOP1精度。 （代码：https://github.com/yitu-opensource/t2t-vit）

卷积神经网络（CNNS）容易受到对抗的攻击，将微型噪声添加到图像中的现象可以欺骗CNNS被错误分类。因为这种噪声对人类观察者几乎是不可察觉的，所以假设生物视觉对抗对抗性攻击是鲁棒性的。尽管具有这种明显的鲁棒性差异，但CNN是目前是生物视觉的最佳模型，揭示了脑部响应对抗性图像的响应方式的差距。实际上，对正常情况下的生物视觉尚未测量对逆势攻击的敏感性，也没有专门用于影响生物视觉的攻击方法。我们研究了对抗性攻击对灵长类动物视力的影响，测量猴神经元反应和人类行为。通过从一个类别（例如人面）来修改图像来创建对抗性图像，看起来像目标类别（例如猴子面），同时限制像素值改变。我们通过几种攻击方法测试了三次攻击方向，包括使用CNN对抗性图像并使用基于CNN的预测模型来指导猴子视觉神经元反应。我们认为广泛的图像变化大幅度，涉及攻击成功率高达> 90％。我们发现为CNN设计的对抗性图像在攻击灵长类动物视觉时无效。即使在考虑最佳的攻击方法时，灵长类动物的视觉也比CNN的集合攻击更强大，而不是CNN的集合，需要超过100倍的图像改变以成功攻击。单个攻击方法和图像的成功与猴子神经元和人类行为之间相关，但在分类和CNN分类之间不太相关。始终如一地，当在自然图像培训时，基于CNN的神经元模型并未概括地解释对对抗性图像的神经元反应。