Recent success of vision transformers has inspired a series of vision backbones with novel feature transformation paradigms, which report steady performance gain. Although the novel feature transformation designs are often claimed as the source of gain, some backbones may benefit from advanced engineering techniques, which makes it hard to identify the real gain from the key feature transformation operators. In this paper, we aim to identify real gain of popular convolution and attention operators and make an in-depth study of them. We observe that the main difference among these feature transformation modules, e.g., attention or convolution, lies in the way of spatial feature aggregation, or the so-called "spatial token mixer" (STM). Hence, we first elaborate a unified architecture to eliminate the unfair impact of different engineering techniques, and then fit STMs into this architecture for comparison. Based on various experiments on upstream/downstream tasks and the analysis of inductive bias, we find that the engineering techniques boost the performance significantly, but the performance gap still exists among different STMs. The detailed analysis also reveals some interesting findings of different STMs, such as effective receptive fields and invariance tests. The code and trained models will be publicly available at https://github.com/OpenGVLab/STM-Evaluation

Compared to the great progress of large-scale vision transformers (ViTs) in recent years, large-scale models based on convolutional neural networks (CNNs) are still in an early state. This work presents a new large-scale CNN-based foundation model, termed InternImage, which can obtain the gain from increasing parameters and training data like ViTs. Different from the recent CNNs that focus on large dense kernels, InternImage takes deformable convolution as the core operator, so that our model not only has the large effective receptive field required for downstream tasks such as detection and segmentation, but also has the adaptive spatial aggregation conditioned by input and task information. As a result, the proposed InternImage reduces the strict inductive bias of traditional CNNs and makes it possible to learn stronger and more robust patterns with large-scale parameters from massive data like ViTs. The effectiveness of our model is proven on challenging benchmarks including ImageNet, COCO, and ADE20K. It is worth mentioning that InternImage-H achieved the new record 65.4 mAP on COCO test-dev. The code will be released at https://github.com/OpenGVLab/InternImage.

我们提出了一种新型的交通轨迹编辑方法，该方法使用时空钥匙帧在模拟过程中控制车辆以生成所需的交通轨迹。通过考虑自我动机，遵循和避免碰撞的路径，提出的基于力的交通模拟框架更新了FRENET坐标和笛卡尔坐标中车辆的动作。使用用户的路点，可以通过参考路径计划生成车道级导航。使用给定的钥匙帧，提出了粗到1的优化，以有效地生成可满足时空约束的合理轨迹。首先，沿参考路径构建的有向状态图用于通过将密钥帧映射为目标来搜索粗粒轨迹。然后，使用从粗轨迹作为初始化提取的信息，基于基于伴随的优化来生成基于我们基于力的仿真的平滑运动的较好轨迹。我们通过广泛的实验来验证我们的方法。

磁共振指纹（MRF）是一种新型技术，它同时估算了多个与组织相关的参数，例如纵向松弛时间T1，横向松弛时间T2，离子频率B0和质子密度，从仅在二十秒内的扫描对象， 。但是，MRF方法遭受混乱的伪像，因为它明显地示例了K空间数据。在这项工作中，我们提出了一个基于MRF方法同时估算多个组织相关参数的压缩传感（CS）框架。它比低采样比更健壮，因此在估计对象所有体素的MR参数方面更有效。此外，MRF方法需要从具有L2距离的MR-Signal-Evolution词典中鉴定出最接近的查询指纹原子。但是，我们观察到L2距离并不总是是测量MR指纹之间相似性的合适度量。从不足采样的训练数据中自适应地学习距离度量，可以显着提高查询指纹的匹配精度。广泛的模拟案例的数值结果表明，就参数估计的准确性而言，我们的方法基本上优于先进方法。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

多人运动预测仍然是一个具有挑战性的问题，尤其是在个人运动和社会互动的共同表示中。大多数先前的方法仅涉及学习局部姿势动态以进行单个运动（没有全球身体轨迹），并难以捕获社交互动的复杂互动依赖性。在本文中，我们提出了一种新颖的社会意识运动变压器（SOM形态），以共同的方式有效地模拟个人运动和社会互动。具体而言，Somoformer提取了位移轨迹空间中子序列的运动特征，以有效地学习每个人的局部和全局姿势动力学。此外，我们设计了一种新型的SOM机制中新型的社交运动注意机制，以通过跨时间和社会维度的运动相似性计算同时优化动态表示并捕获相互作用依赖性。在短期和长期视野上，我们在多人运动数据集上进行了经验评估我们的框架，并证明我们的方法极大地优于单人和多人运动预测的最先进方法。接受后将公开提供代码。

在各种基于学习的图像恢复任务（例如图像降解和图像超分辨率）中，降解表示形式被广泛用于建模降解过程并处理复杂的降解模式。但是，在基于学习的图像deblurring中，它们的探索程度较低，因为在现实世界中挑战性的情况下，模糊内核估计不能很好地表现。我们认为，对于图像降低的降解表示形式是特别必要的，因为模糊模式通常显示出比噪声模式或高频纹理更大的变化。在本文中，我们提出了一个框架来学习模糊图像的空间自适应降解表示。提出了一种新颖的联合图像re毁和脱蓝色的学习过程，以提高降解表示的表现力。为了使学习的降解表示有效地启动和降解，我们提出了一个多尺度退化注入网络（MSDI-NET），以将它们集成到神经网络中。通过集成，MSDI-NET可以适应各种复杂的模糊模式。 GoPro和Realblur数据集上的实验表明，我们提出的具有学识渊博的退化表示形式的Deblurring框架优于最先进的方法，具有吸引人的改进。该代码在https://github.com/dasongli1/learning_degradation上发布。

视频识别是由端到端学习范式主导的 - 首先初始化具有预审预周化图像模型的视频识别模型，然后对视频进行端到端培训。这使视频网络能够受益于验证的图像模型。但是，这需要大量的计算和内存资源，以便在视频上进行填充以及直接使用预审计的图像功能的替代方案，而无需填充图像骨架会导致结果不足。幸运的是，在对比视力语言预训练（剪辑）方面的最新进展为视觉识别任务的新途径铺平了道路。这些模型在大型开放式图像文本对数据上进行了预测，以丰富的语义学习强大的视觉表示。在本文中，我们介绍了有效的视频学习（EVL） - 一种有效的框架，用于直接训练具有冷冻剪辑功能的高质量视频识别模型。具体来说，我们采用轻型变压器解码器并学习查询令牌，从剪辑图像编码器中动态收集帧级空间特征。此外，我们在每个解码器层中采用局部时间模块，以发现相邻帧及其注意力图的时间线索。我们表明，尽管有效地使用冷冻的骨干训练，但我们的模型在各种视频识别数据集上学习了高质量的视频表示。代码可在https://github.com/opengvlab/feld-video-rencognition上找到。

在本文中，我们通过整合具有离散的傅立叶变换（DFT）的复杂值和实值卷积神经网络（CNN）来提出一个新的EEG信号分类框架。所提出的神经网络架构由一个复杂值的卷积层，两个实值卷积层和三个完全连接的层组成。我们的方法可以有效利用DFT中包含的相信息。我们使用两个模拟的EEG信号和一个基准数据集验证我们的方法，并将其与两个广泛使用的框架进行比较。与对基准数据集进行分类的现有方法相比，我们的方法大大减少了所使用的参数的数量并提高了准确性，并显着提高了对模拟的EEG信号进行分类的性能。

2D姿势估计的现有作品主要集中在某个类别上，例如人，动物和车辆。但是，有许多应用程序方案需要检测看不见的对象类的姿势/关键点。在本文中，我们介绍了类别不稳定姿势估计（CAPE）的任务，该任务旨在创建一个姿势估计模型，能够检测仅给出一些具有关键点定义的样本的任何类别对象的姿势。为了实现这一目标，我们将姿势估计问题作为关键点匹配问题制定，并设计一个新颖的Cape框架，称为姿势匹配网络（POMNET）。提出了基于变压器的关键点交互模块（KIM），以捕获不同关键点之间的交互以及支持图像和查询图像之间的关系。我们还介绍了多类姿势（MP-100）数据集，该数据集是包含20K实例的100个对象类别的2D姿势数据集，并且经过精心设计用于开发CAPE算法。实验表明，我们的方法的表现优于其他基线方法。代码和数据可在https://github.com/luminxu/pose-for-venthing上找到。