准确注释的图像数据集是研究动物行为的重要组成部分。与我们知道并且可能存在的物种数量相比，现有的标记姿势数据集仅覆盖其中的一小部分，而构建全面的大规模数据集则非常昂贵。在这里，我们提出了一种非常数据有效的策略，该策略针对四足动物的姿势估计，该策略仅需要少量来自目标动物的真实图像。可以证实，在诸如ImageNet之类的通用图像数据集上具有预计权重的骨干网络可以减轻对目标动物姿势数据的高需求，并通过了解对物体细分和关键点估计的先验知识来缩短训练时间。但是，当面对严重的数据稀缺性（即$ <10^2 $真实图像）时，模型性能保持不令人满意，尤其是对于具有相当灵活性和几个可比零件的四肢而言。因此，我们引入了一种称为Pasyn的先前感知的合成动物数据生成管道，以增强动物姿势数据对可靠的姿势估计所必需的数据。 Pasyn通过在几种动画3D动物模型上训练变异生成模型，生成概率 - valid合成姿势数据集，突触。此外，样式转移策略被用来将合成动物形象融合到真实背景中。我们通过三个流行的骨干网络评估了方法的改进，并测试了其姿势估计的准确性，并在动物园中从真实动物中收集的公共动物姿势图像以及从真实的动物中收集的姿势估计准确性。

婴儿运动分析是在儿童早期开发研究中具有重要意义的主题。然而，虽然人类姿势估计的应用变得越来越宽，但是在大规模成年姿势数据集上培训的模型几乎不能在估计婴幼儿姿势，因为它们的身体比率显着差异以及它们的构成的多功能性。此外，隐私和安全考虑因素阻碍了从头划痕培训强大模型所需的适当婴儿姿势数据的可用性。为了解决这个问题，本文提出（1）建立和公开发布具有小但不同实际婴儿图像的混合综合和真正的婴儿姿势（Syrip）数据集以及生成的合成婴儿姿势和（2）多级不变表示学习策略可以将知识从成人姿势和合成婴儿图像的相邻域和综合性婴儿图像转移到我们的微调域适应婴儿姿势（FIDEP）估计模型中。在我们的消融研究中，具有相同的网络结构，在SyRip数据集上培训的模型对唯一的其他公共婴儿姿势数据集接受过的培训明显改进。与具有不同复杂性的姿势估计骨干网络集成，FIDEP比这些模型的微调版本始终如一。我们最先进的暗影模型上最好的婴儿姿势估计表演者显示了93.6的平均平均精度（MAP）。

虽然姿势估计是一项重要的计算机视觉任务，但它需要昂贵的注释，并且遭受了域转移的困扰。在本文中，我们调查了域自适应2D姿势估计的问题，这些估计会传输有关合成源域的知识，而无需监督。尽管最近已经提出了几个领域的自适应姿势估计模型，但它们不是通用的，而是专注于人姿势或动物姿势估计，因此它们的有效性在某种程度上限于特定情况。在这项工作中，我们提出了一个统一的框架，该框架可以很好地推广到各种领域自适应姿势估计问题上。我们建议使用输入级别和输出级线索（分别是像素和姿势标签）对齐表示，这有助于知识转移从源域到未标记的目标域。我们的实验表明，我们的方法在各个领域变化下实现了最先进的性能。我们的方法的表现优于现有的姿势估计基线，最高4.5％（PP），手部姿势估算高达7.4 pp，狗的动物姿势估计高达4.8 pp，而绵羊的姿势估计为3.3 pp。这些结果表明，我们的方法能够减轻各种任务甚至看不见的域和物体的转移（例如，在马匹上训练并在狗上进行了测试）。我们的代码将在以下网址公开可用：https：//github.com/visionlearninggroup/uda_poseestimation。

准确的动物姿势估计是了解动物行为的重要步骤，并且可能有利于许多下游应用，例如野生动物保护。以前的作用仅关注特定动物，同时忽略动物物种的多样性，限制泛化能力。在本文中，我们提出了哺乳动物动物姿势估计的第一个大规模基准的AP-10K，以促进动物姿势估计的研究。 AP-10K由10,015张图像组成，并在分类规模和54种物种之后从23个动物家庭和54种物种，标有标记和检查的高质量Keypoint注释。基于AP-10K，我们在以下三个轨道上基准代表姿态估计模型：（1）监督动物姿势估计的学习，（2）从人类姿势估计到动物姿势估计的跨域转移，和（3） - 看不见的动物的家庭间域概括。实验结果为学习的优越性从精度和泛化能力方面提供了关于从不同的动物物种的学习的优势提供的声音。它开辟了促进动物姿势估计未来研究的新方向。 AP-10K公开提供HTTPS://github.com/alexthebad/ap10k。

从单个图像中感知3D人体的能力具有多种应用，从娱乐和机器人技术到神经科学和医疗保健。人类网格恢复中的一个基本挑战是收集训练所需的地面真相3D网格目标，这需要负担重大的运动捕获系统，并且通常仅限于室内实验室。结果，尽管在这些限制性设置中收集的基准数据集上取得了进展，但由于分配变化，模型无法推广到现实世界中的``野外''方案。我们提出了域自适应3D姿势增强（DAPA），这是一种数据增强方法，可增强模型在野外场景中的概括能力。 DAPA通过从综合网格中获得直接监督，并通过使用目标数据集的地面真相2D关键点来结合基于合成数据集的方法的强度。我们定量地表明，使用DAPA的填充有效地改善了基准3DPW和Agora的结果。我们进一步证明了DAPA在一个充满挑战的数据集中，该数据集从现实世界中亲子互动的视频中策划了。

动物姿势估计和跟踪（APT）是从一系列视频帧中检测和跟踪动物关键的基本任务。以前与动物有关的数据集专注于动物跟踪或单帧动物姿势估计，而从未在这两个方面上进行。缺乏APT数据集​​阻碍了基于视频的动物姿势估计和跟踪方法的开发和评估，限制了现实世界中的应用，例如了解野生动物保护中的动物行为。为了填补这一空白，我们迈出了第一步，并提出了APT-36K，即第一个用于动物姿势估计和跟踪的大规模基准。具体而言，APT-36K由2,400个视频剪辑组成，并从30种动物物种中收集并过滤，每个视频为15帧，总共产生36,000帧。在手动注释和仔细的双重检查之后，为所有动物实例提供了高质量的关键点和跟踪注释。基于APT-36K，我们在以下三个曲目上基准了几个代表性模型：（1）在内部和域间传输学习设置下，在单个框架上进行监督的动物姿势估计，（2）未见的种间域域内概括测试动物，（3）动物跟踪的动物姿势估计。根据实验结果，我们获得了一些经验见解，并表明APT-36K提供了有价值的动物姿势估计和跟踪基准，为未来的研究提供了新的挑战和机会。该代码和数据集将在https://github.com/pandorgan/apt-36k上公​​开提供。

我们的目标是从单个图像中恢复3D形状和姿势。这是一项艰巨的任务，因为狗表现出各种形状和外表，并且高度阐明。最近的工作提出了直接从图像中直接带有其他肢体规模参数的Smal动物模型。我们的方法称为BARC（使用分类的品种调查回归），以几种重要方式超越了先前的工作。首先，我们修改SMAL形状空间，以更适合表示狗形。但是，即使具有更好的形状模型，从图像中回归狗形状的问题仍然具有挑战性，因为我们缺少具有3D地面真相的配对图像。为了弥补缺乏配对数据的缺乏，我们制定了利用有关狗品种信息的新损失。特别是，我们利用了同一品种的狗具有相似的身体形状的事实。我们制定了一个新型的品种相似性损失，包括两个部分：一个术语鼓励同一品种的狗形状比不同品种的狗更相似。第二个是品种分类损失，有助于产生可识别的品种特异性形状。通过消融研究，我们发现我们的品种损失显着提高了没有它们的基线的形状精度。我们还通过知觉研究将BARC与WLDO进行定性比较，并发现我们的方法产生的狗更现实。这项工作表明，有关遗传相似性的A-Priori信息可以帮助弥补缺乏3D培训数据。这个概念可能适用于其他动物物种或种类。我们的代码可在https://barc.is.tue.mpg.de/上公开提供。

最近，动物姿势估计引起了关注动物行为理解的学术界（例如野生动植物和保护生物学）的兴趣。但是，目前的动物姿势估计遭受了小数据集和较大的数据差异，因此很难获得稳健的性能。为了解决这个问题，我们建议可以利用语言模型学到的与姿势相关语义之间的关系的丰富知识来改善动物姿势估计。因此，在这项研究中，我们介绍了一个新颖的促进框架，以有效地采用语言模型，以更好地根据及时训练来理解动物姿势。在Promptpose中，我们建议将语言知识适应视觉动物的姿势是实现有效动物姿势估计的关键。为此，我们首先介绍文本提示，以在文本语义描述和支持动物关键点功能之间建立连接。此外，我们进一步设计了一个像素级的对比损失，以在文本描述和本地图像特征之间建立密集的联系，以及语义级别的对比损失，以弥合语言图像跨模式预训练的全球对比度之间的差距密集预测中的局部对比。在实践中，Pickerpose在改善动物姿势估计方面显示出巨大的好处。通过进行广泛的实验，我们表明，我们的及时疾病在监督和少量设置下取得了卓越的性能，超过了代表性的方法。源代码和模型将公开可用。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

如今，在人员重新识别（Reid）任务的真实数据面临隐私问题，例如，禁止DataSet Dukemtmc-Reid。因此，收集Reid任务的真实数据变得更难。同时，标签的劳动力成本仍然很高，进一步阻碍了Reid研究的发展。因此，许多方法转向为REID算法生成合成图像作为替代方而不是真实图像。然而，合成和真实图像之间存在不可避免的领域差距。在以前的方法中，生成过程基于虚拟场景，并且无法根据不同的目标实际场景自动更改其合成训练数据。为了处理这个问题，我们提出了一种新颖的目标感知一代管道，以产生称为Tagerson的合成人物图像。具体地，它涉及参数化渲染方法，其中参数是可控的，并且可以根据目标场景调整。在Tagperson中，我们从目标场景中提取信息，并使用它们来控制我们的参数化渲染过程以生成目标感知的合成图像，这将使目标域中的实图像保持较小的间隙。在我们的实验中，我们的目标感知的合成图像可以实现比MSMT17上的广义合成图像更高的性能，即秩1精度的47.5％与40.9％。我们将发布此工具包\脚注{\ noindent代码可用于\ href {https://github.com/tagperson/tagperson-blender} {https：//github.com/tagperson/tagperson -brender}}为Reid社区以任何所需味道产生合成图像。

基于深度学习的当前计算机视觉任务需要大量数据，并具有用于模型培训或测试的注释，尤其是在某些密集的估计任务中，例如光流分段和深度估计。实际上，密集估计任务的手动标记非常困难甚至不可能，并且数据集的场景通常仅限于较小的范围，这极大地限制了社区的发展。为了克服这种缺陷，我们提出了一种合成数据集生成方法，以获取无繁重的手动劳动力的可扩展数据集。通过这种方法，我们构建了一个名为Minenavi的数据集，该数据集包含来自飞机的第一镜头视频视频素材，并与准确的地面真相相匹配，以实现飞机导航应用中的深度估算。我们还提供定量实验，以证明通过Minenavi数据集进行预训练可以提高深度估计模型的性能，并加快模型在真实场景数据上的收敛性。由于合成数据集在深层模型的训练过程中与现实世界数据集具有相似的效果，因此我们还提供了具有单眼深度估计方法的其他实验，以证明各种因素在我们的数据集中的影响，例如照明条件和运动模式。

Estimating human pose, shape, and motion from images and videos are fundamental challenges with many applications. Recent advances in 2D human pose estimation use large amounts of manually-labeled training data for learning convolutional neural networks (CNNs). Such data is time consuming to acquire and difficult to extend. Moreover, manual labeling of 3D pose, depth and motion is impractical. In this work we present SURREAL (Synthetic hUmans foR REAL tasks): a new large-scale dataset with synthetically-generated but realistic images of people rendered from 3D sequences of human motion capture data. We generate more than 6 million frames together with ground truth pose, depth maps, and segmentation masks. We show that CNNs trained on our synthetic dataset allow for accurate human depth estimation and human part segmentation in real RGB images. Our results and the new dataset open up new possibilities for advancing person analysis using cheap and large-scale synthetic data.

在本文中，我们考虑了同时找到和从单个2D图像中恢复多手的具有挑战性的任务。先前的研究要么关注单手重建，要么以多阶段的方式解决此问题。此外，常规的两阶段管道首先检测到手部区域，然后估计每个裁剪贴片的3D手姿势。为了减少预处理和特征提取中的计算冗余，我们提出了一条简洁但有效的单阶段管道。具体而言，我们为多手重建设计了多头自动编码器结构，每个HEAD网络分别共享相同的功能图并分别输出手动中心，姿势和纹理。此外，我们采用了一个弱监督的计划来减轻昂贵的3D现实世界数据注释的负担。为此，我们提出了一系列通过舞台训练方案优化的损失，其中根据公开可用的单手数据集生成具有2D注释的多手数据集。为了进一步提高弱监督模型的准确性，我们在单手和多个手设置中采用了几个功能一致性约束。具体而言，从本地功能估算的每只手的关键点应与全局功能预测的重新投影点一致。在包括Freihand，HO3D，Interhand 2.6M和RHD在内的公共基准测试的广泛实验表明，我们的方法在弱监督和完全监督的举止中优于基于最先进的模型方法。代码和模型可在{\ url {https://github.com/zijinxuxu/smhr}}上获得。

将2D人的姿势提升到3D姿势是一个重要而挑战的任务。现有的3D姿势估计遭受了1）2D和3D数据之间的固有模糊，2）野外缺少缺乏标记的2D-3D姿势对。人类能够从2D图像中的人体3D姿势或具有最低歧义的一组2D身体键点，这应该归因于我们在我们脑海中获得的人体的先验知识。灵感来自于此，我们提出了一个新的框架，利用标记的3D人类姿势来学习人体的3D概念来减少歧义。要在2D姿势上对身体概念进行达成共识，我们的主要洞察力是将2D人类姿势和3D人类姿势视为两个不同的域。通过调整两个域，从3D姿势中学到的身体知识应用于2D姿势并引导2D姿势编码器，以产生信息3D“想象力”，因为在姿势提升中嵌入。从域适应角度受益，所提出的框架统一了一个原则框架的监督和半监督的3D姿态估计。广泛的实验表明，所提出的方法可以在标准基准上实现最先进的性能。更重要的是，验证了明确学习的3D身体概念有效地减轻了2D姿势提升中的2D-3D模糊性，提高了泛化，并使网络能够利用丰富的未标记的2D数据。

人重新识别（RE-ID）在公共安全和视频监控等应用中起着重要作用。最近，从合成数据引擎的普及中获益的合成数据学习，从公众眼中引起了极大的关注。但是，现有数据集数量，多样性和变性有限，并且不能有效地用于重新ID问题。为了解决这一挑战，我们手动构造一个名为FineGPR的大型人数据集，具有细粒度的属性注释。此外，旨在充分利用FineGPR的潜力，并推广从数百万综合数据的高效培训，我们提出了一个名为AOST的属性分析流水线，它动态地学习了真实域中的属性分布，然后消除了合成和现实世界之间的差距因此，自由地部署到新场景。在基准上进行的实验表明，FineGPR具有AOST胜过（或与）现有的实际和合成数据集，这表明其对重新ID任务的可行性，并证明了众所周知的较少的原则。我们的Synthetic FineGPR数据集可公开可用于\ URL {https://github.com/jeremyxsc/finegpr}。

In this paper, we introduce neural texture learning for 6D object pose estimation from synthetic data and a few unlabelled real images. Our major contribution is a novel learning scheme which removes the drawbacks of previous works, namely the strong dependency on co-modalities or additional refinement. These have been previously necessary to provide training signals for convergence. We formulate such a scheme as two sub-optimisation problems on texture learning and pose learning. We separately learn to predict realistic texture of objects from real image collections and learn pose estimation from pixel-perfect synthetic data. Combining these two capabilities allows then to synthesise photorealistic novel views to supervise the pose estimator with accurate geometry. To alleviate pose noise and segmentation imperfection present during the texture learning phase, we propose a surfel-based adversarial training loss together with texture regularisation from synthetic data. We demonstrate that the proposed approach significantly outperforms the recent state-of-the-art methods without ground-truth pose annotations and demonstrates substantial generalisation improvements towards unseen scenes. Remarkably, our scheme improves the adopted pose estimators substantially even when initialised with much inferior performance.

人类姿势和形状估计的任务中的关键挑战是闭塞，包括自闭合，对象 - 人闭塞和人际闭塞。缺乏多样化和准确的姿势和形状训练数据成为一个主要的瓶颈，特别是对于野外闭塞的场景。在本文中，我们专注于在人际闭塞的情况下估计人类姿势和形状，同时处理对象 - 人闭塞和自动闭塞。我们提出了一种新颖的框架，该框架综合了遮挡感知的轮廓和2D关键点数据，并直接回归到SMPL姿势和形状参数。利用神经3D网格渲染器以启用剪影监控，这有助于形状估计的巨大改进。此外，合成了全景视点中的关键点和轮廓驱动的训练数据，以补偿任何现有数据集中缺乏视点的多样性。实验结果表明，在姿势估计准确性方面，我们在3DPW和3DPW-Crowd数据集中是最先进的。所提出的方法在形状估计方面显着优于秩1方法。在形状预测精度方面，SSP-3D还实现了顶级性能。

We propose a CNN-based approach for 3D human body pose estimation from single RGB images that addresses the issue of limited generalizability of models trained solely on the starkly limited publicly available 3D pose data. Using only the existing 3D pose data and 2D pose data, we show state-of-the-art performance on established benchmarks through transfer of learned features, while also generalizing to in-the-wild scenes. We further introduce a new training set for human body pose estimation from monocular images of real humans that has the ground truth captured with a multi-camera marker-less motion capture system. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables an increased scope of augmentation. We also contribute a new benchmark that covers outdoor and indoor scenes, and demonstrate that our 3D pose dataset shows better in-the-wild performance than existing annotated data, which is further improved in conjunction with transfer learning from 2D pose data. All in all, we argue that the use of transfer learning of representations in tandem with algorithmic and data contributions is crucial for general 3D body pose estimation.

大多数现有的动物姿势和形状估计方法用参数模型重建动物网格。这是因为Smal模型的低维姿势和形状参数使得深网络更容易学习高维动物网。然而，Smal模型从具有限制和形状变化的玩具动物的扫描学习，因此可能无法良好地代表高度不同的真实动物。这可能导致估计网格的差，例如2D证据的差。 2d关键点或剪影。为了缓解此问题，我们提出了一种从单个图像重建3D动物网格的粗细方法。粗略估计阶段首先估计Smal模型的姿势，形状和翻译参数。然后将估计的网格用作图表卷积网络（GCN）的起点，以预测细化阶段的每顶顶点变形。基于SMAL和基于顶点的表示的这种组合来自参数和非参数表示。我们将网眼细化GCN（MRGCN）设计为具有分层特征表示的编码器解码器结构，以克服传统GCN的有限接收领域。此外，我们观察到，现有动物网格重建工作所使用的全局图像特征无法捕获用于网格细化的详细形状信息。因此，我们引入了本地特征提取器来检索顶点级别功能，并将其与全局功能一起用作MRGCN的输入。我们在Stanfordextra DataSet上测试我们的方法，实现最先进的结果。此外，我们在动物姿势和BADJA数据集中测试我们方法的泛化能力。我们的代码可在项目网站上获得。

在本文中，我们开发了一种强大的3D服装数字化解决方案，可以在现实世界时尚目录图像上概括用布纹理遮挡和大体姿势变化。我们假设已知类型的服装类型的固定拓扑参数模板网格模型（例如，T恤，裤子），并从输入目录图像执行高质量纹理的映射到与衣服的参数网格模型相对应的UV映射面板。我们通过首先预测服装边界的稀疏2D地标。随后，我们使用这些地标在UV地图面板上执行基于薄板样条的纹理传输。随后，我们使用深度纹理修复网络来填充TPS输出中的大孔（由于查看变化和自闭电），以产生一致的UV映射。此外，为了培训监督的地标预测和纹理修复任务，我们产生了一大组合成数据，其具有不同于各种姿势的各种视图的不同纹理和照明。此外，我们手动注释了一小组时尚目录图像从在线时尚电子商务平台到Finetune。我们开展彻底的经验评估，并在时尚目录图像上显示我们所提出的3D服装纹理解决方案的令人印象深刻的定性结果。这种3D服装数字化有助于我们解决启用3D虚拟试验的具有挑战性的任务。