现有的广告点击率（CTR）预测模型主要取决于行为ID功能，这些功能是根据历史用户AD交互所学习的。然而，依赖历史用户行为的行为ID功能是不可行的，可以在没有以前与用户互动的情况下描述新广告。为了克服对新广告建模的行为ID特征的局限性，我们利用广告中的视觉内容来提高CTR预测模型的性能。具体来说，我们根据其视觉内容将每个广告映射到一组视觉ID中。这些视觉ID进一步用于生成可视觉嵌入，以增强CTR预测模型。我们将视觉ID的学习分为有监督的量化问题。由于缺乏广告中商业图像的类标签，因此我们利用图像文本描述作为监督，以优化图像提取器以生成有效的视觉ID。同时，由于硬量化是不可差异的，因此我们软化量化操作以使其支持端到端网络培训。将每个图像映射到视觉ID之后，我们根据过去积累的历史用户AD交互学习每个视觉ID的嵌入。由于视觉ID嵌入仅取决于视觉内容，因此它概括为新广告。同时，嵌入视觉ID补充了AD行为ID嵌入。因此，它可以大大提高CTR预测模型的性能，以前依赖于积累了丰富用户行为的新广告和广告的行为ID功能。将视觉ID嵌入在BAIDU在线广告的CTR预测模型中后，AD的平均CTR提高了1.46％，总费用增加了1.10％。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

人类姿势估计旨在准确估计各种人类姿势。但是，现有的数据集通常遵循长尾巴的分布，而异常姿势仅占据一小部分，这进一步导致缺乏稀有姿势的多样性。这些问题导致当前姿势估计器的概括能力。在本文中，我们提出了一种简单而有效的数据增强方法，称为姿势转化（后部），以减轻上述问题。具体而言，我们建议姿势转化模块（PTM）创建具有多种姿势并采用姿势歧视者的新训练样本，以确保增强姿势的合理性。此外，我们提出姿势聚类模块（PCM）来测量姿势稀有性并选择“最稀有”姿势，以帮助平衡长尾分布。在三个基准数据集上进行的广泛实验证明了我们方法的有效性，尤其是在稀有姿势上。同样，我们的方法是有效且易于实施的，可以轻松地集成到现有姿势估计模型的训练管道中。

从单个RGB图像中估算3D相互作用的手姿势对于理解人类行为至关重要。与大多数直接预测两只相互作用手的3D姿势的先前作品不同，我们建议分解具有挑战性的相互作用姿势估计任务并分别估算每只手的姿势。这样，就可以直接利用单手姿势估计系统的最新研究进度。然而，由于（1）严重的手部阻塞和（2）手的歧义性，手动姿势估计在相互作用的情况下非常具有挑战性。为了应对这两个挑战，我们提出了一种新型的手部划分和去除（HDR）框架，以执行手部斜切和脱离分散术的去除。我们还提出了第一个称为Amodal intredhand数据集（AIH）的大规模合成Amodal手数据集，以促进模型培训并促进相关研究的开发。实验表明，所提出的方法显着优于先前的最新相互作用姿势估计方法。代码和数据可在https://github.com/menghao666/hdr上找到。

2D姿势估计的现有作品主要集中在某个类别上，例如人，动物和车辆。但是，有许多应用程序方案需要检测看不见的对象类的姿势/关键点。在本文中，我们介绍了类别不稳定姿势估计（CAPE）的任务，该任务旨在创建一个姿势估计模型，能够检测仅给出一些具有关键点定义的样本的任何类别对象的姿势。为了实现这一目标，我们将姿势估计问题作为关键点匹配问题制定，并设计一个新颖的Cape框架，称为姿势匹配网络（POMNET）。提出了基于变压器的关键点交互模块（KIM），以捕获不同关键点之间的交互以及支持图像和查询图像之间的关系。我们还介绍了多类姿势（MP-100）数据集，该数据集是包含20K实例的100个对象类别的2D姿势数据集，并且经过精心设计用于开发CAPE算法。实验表明，我们的方法的表现优于其他基线方法。代码和数据可在https://github.com/luminxu/pose-for-venthing上找到。

及时调整是将预训练模型调整到下游任务的极其有效的工具。但是，基于标准及时的方法主要考虑下游任务的足够数据的情况。目前尚不清楚是否可以将优势传输到几杆式制度，在每个下游任务中只有有限的数据。尽管有些作品证明了在几次弹奏设置下及时调整的潜力，但通过搜索离散提示或使用有限数据调整软提示的主流方法仍然非常具有挑战性。通过广泛的实证研究，我们发现迅速调整和完全微调之间的学习差距仍然存在差距。为了弥合差距，我们提出了一个新的及时调整框架，称为软模板调整（STT）。 STT结合了手册和自动提示，并将下游分类任务视为掩盖语言建模任务。对不同设置的全面评估表明，STT可以在不引入其他参数的情况下缩小微调和基于及时的方法之间的差距。值得注意的是，它甚至可以胜过情感分类任务的时间和资源消耗的微调方法。

面部解析将像素语义标签分配为计算机的面部表示，这是许多高级面部技术的基本部分。与2D面对解析相比，3D面对解析具有更大的潜力，可以实现更好的性能和进一步的应用，但是由于3D网格数据计算，它仍然具有挑战性。最近的作品引入了3D表面分割的不同方法，而性能仍然有限。在本文中，我们提出了一种基于“ 3D-2D-3D”策略来完成3D面对解析的方法。包含空间和纹理信息的拓扑磁盘状的2D面图像通过面部参数化算法从采样的3D面数据转换，并提出了一个称为CPFNET的特定2D网络，以实现具有多种参数化脸部数据的语义分割。比例技术和功能聚合。然后，2D语义结果将成反比3D面数据，最终实现了3D面对解析。实验结果表明，CPFNET和“ 3D-2D-3D”策略都完成了高质量的3D面对解析和跑赢大于最新的2D网络以及定性和定量比较的3D方法。

从自然语言监督中学习视觉表示，最近在许多开创性的作品中表现出了巨大的希望。通常，这些具有语言的视觉模型表现出对各种数据集和任务的强大可传递性。但是，由于缺乏易于使用的评估工具包和公共基准，评估这些模型的可转让性仍然很具有挑战性。为了解决这个问题，我们构建了高级版（评估语言的视觉任务级传输），这是用于评估（预训练）语言增强视觉模型的第一个基准和工具包。升华由三个组成部分组成。 （i）数据集。作为下游评估套件，它由20个图像分类数据集和35个对象检测数据集组成，每个数据集都用外部知识来增强。 （ii）工具包。开发了自动高参数调谐工具包，以促进下游任务的模型评估。 （iii）指标。多种评估指标用于测量样品效率（零射击和少量）和参数效率（线性探测和完整模型微调）。我们在https://computer-vision-in-the-wild.github.io/elevater/上公开发布leverater

Optical coherence tomography (OCT) captures cross-sectional data and is used for the screening, monitoring, and treatment planning of retinal diseases. Technological developments to increase the speed of acquisition often results in systems with a narrower spectral bandwidth, and hence a lower axial resolution. Traditionally, image-processing-based techniques have been utilized to reconstruct subsampled OCT data and more recently, deep-learning-based methods have been explored. In this study, we simulate reduced axial scan (A-scan) resolution by Gaussian windowing in the spectral domain and investigate the use of a learning-based approach for image feature reconstruction. In anticipation of the reduced resolution that accompanies wide-field OCT systems, we build upon super-resolution techniques to explore methods to better aid clinicians in their decision-making to improve patient outcomes, by reconstructing lost features using a pixel-to-pixel approach with an altered super-resolution generative adversarial network (SRGAN) architecture.

We introduce a new tool for stochastic convex optimization (SCO): a Reweighted Stochastic Query (ReSQue) estimator for the gradient of a function convolved with a (Gaussian) probability density. Combining ReSQue with recent advances in ball oracle acceleration [CJJJLST20, ACJJS21], we develop algorithms achieving state-of-the-art complexities for SCO in parallel and private settings. For a SCO objective constrained to the unit ball in $\mathbb{R}^d$, we obtain the following results (up to polylogarithmic factors). We give a parallel algorithm obtaining optimization error $\epsilon_{\text{opt}}$ with $d^{1/3}\epsilon_{\text{opt}}^{-2/3}$ gradient oracle query depth and $d^{1/3}\epsilon_{\text{opt}}^{-2/3} + \epsilon_{\text{opt}}^{-2}$ gradient queries in total, assuming access to a bounded-variance stochastic gradient estimator. For $\epsilon_{\text{opt}} \in [d^{-1}, d^{-1/4}]$, our algorithm matches the state-of-the-art oracle depth of [BJLLS19] while maintaining the optimal total work of stochastic gradient descent. We give an $(\epsilon_{\text{dp}}, \delta)$-differentially private algorithm which, given $n$ samples of Lipschitz loss functions, obtains near-optimal optimization error and makes $\min(n, n^2\epsilon_{\text{dp}}^2 d^{-1}) + \min(n^{4/3}\epsilon_{\text{dp}}^{1/3}, (nd)^{2/3}\epsilon_{\text{dp}}^{-1})$ queries to the gradients of these functions. In the regime $d \le n \epsilon_{\text{dp}}^{2}$, where privacy comes at no cost in terms of the optimal loss up to constants, our algorithm uses $n + (nd)^{2/3}\epsilon_{\text{dp}}^{-1}$ queries and improves recent advancements of [KLL21, AFKT21]. In the moderately low-dimensional setting $d \le \sqrt n \epsilon_{\text{dp}}^{3/2}$, our query complexity is near-linear.