Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2K high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks.

广告视频编辑旨在将广告视频自动编辑为较短的视频，同时保留广告商传达的连贯内容和关键信息。它主要包含两个阶段：视频细分和段组合。现有方法在视频分割阶段表现良好，但遭受了对额外繁琐模型的依赖性问题，并且在细分组合阶段的性能差。为了解决这些问题，我们提出了M-SAN（多模式段组合网络），该网络可以执行高效且连贯的段组合任务。它利用从段中提取的多模式表示形式，并遵循带有注意机制的编码器ptr-decoder ptr-net框架。重要性补偿奖励是为培训M-SAN设计的。我们在广告客户收集的丰富广告方案下，在ADS-1K数据集上使用1000多个视频进行实验。为了评估这些方法，我们提出了一个统一的imp-coh@Time，该指标可以全面评估同时评估产出的重要性，相干性和持续时间。实验结果表明，我们的方法比随机选择和公制上的先前方法更好的性能。消融实验进一步验证了多模式表示和重要性互动的奖励可显着改善性能。 ADS-1K数据集可用：https：//github.com/yunlong10/ads-1k

多模式意图识别是理解现实世界中人类语言的重要任务。大多数现有意图识别方法在利用基准数据集的限制中利用多模式信息的局限性，仅使用文本信息。本文介绍了一个用于多模式意图识别（MinTreec）的新型数据集，以解决此问题。它根据电视系列超市收集的数据制定了粗粒和细粒度的分类法。该数据集由2,224个具有文本，视频和音频模式的高质量样本组成，并在二十个意图类别中具有多模式注释。此外，我们在每个视频段中提供带注释的扬声器框架框，并实现扬声器注释的自动过程。 MinTrec对研究人员有助于挖掘不同方式之间的关系，以增强意图识别的能力。我们通过适应三种强大的多模式融合方法来构建基准，从每种模式和模型跨模式相互作用中提取特征。广泛的实验表明，采用非语言方式与仅文本模式相比，实现了实质性改进，这表明使用多模式信息进行意图识别的有效性。表现最佳的方法与人类之间的差距表明了这项任务对社区的挑战和重要性。完整的数据集和代码可在https://github.com/thuiar/mintrec上使用。

在这项工作中，我们提出了叙述，这是一种新颖的管道，可以以逼真的方式同时编辑肖像照明和观点。作为一种混合神经形态的面部模型，叙述了几何学感知生成方法和正常辅助物理面部模型的互补益处。简而言之，叙述首先将输入肖像转变为粗糙的几何形状，并采用神经渲染来产生类似于输入的图像，并产生令人信服的姿势变化。但是，反演步骤引入了不匹配，带来了较少面部细节的低质量图像。因此，我们进一步估计了师范的肖像，以增强粗糙的几何形状，从而创建高保真的物理面部模型。特别是，我们融合了神经和身体渲染，以补偿不完善的反转，从而产生了现实和视图一致的新颖透视图像。在重新阶段，以前的作品着重于单一视图肖像重新审议，但也忽略了不同观点之间的一致性，引导不稳定和不一致的照明效果以进行视图变化。我们通过将其多视图输入正常地图与物理面部模型统一，以解决此问题。叙事通过一致的正常地图进行重新进行重新，施加了跨视图的约束并表现出稳定且连贯的照明效果。我们在实验上证明，叙述在先前的工作中取得了更现实的，可靠的结果。我们进一步使用动画和样式转移工具进行介绍，从而分别或组合姿势变化，灯光变化，面部动画和样式转移，所有这些都以摄影质量为单位。我们展示了生动的自由视图面部动画以及3D感知可靠的风格化，可帮助促进各种AR/VR应用程序，例如虚拟摄影，3D视频会议和后期制作。

机器学习理论中的主要开放问题之一是表征过度参数化的政权中的概括，在该制度中，大多数传统的概括范围变得不一致。在许多情况下，它们的失败可以归因于掩盖训练算法与基础数据分布之间的关键相互作用。为了解决这一缺点，我们提出了一个名为兼容性的概念，该概念以与数据相关的和算法相关的方式定量地表征了概括。通过考虑整个训练轨迹并专注于早期迭代的迭代术，兼容性充分利用了算法信息，因此可以提供更好的概括保证。我们通过理论上研究与梯度下降过度参数化的线性回归设置的兼容性来验证这一点。具体而言，我们执行与数据相关的轨迹分析，并在这种设置下得出足够的兼容性条件。我们的理论结果表明，从兼容性的意义上讲，概括性对问题实例的限制明显弱，而不是上次迭代分析。

我们人类正在进入虚拟时代，确实想将动物带到虚拟世界中。然而，计算机生成的（CGI）毛茸茸的动物受到乏味的离线渲染的限制，更不用说交互式运动控制了。在本文中，我们提出了Artemis，这是一种新型的神经建模和渲染管道，用于生成具有外观和运动合成的清晰神经宠物。我们的Artemis可以实现互动运动控制，实时动画和毛茸茸的动物的照片真实渲染。我们的Artemis的核心是神经生成的（NGI）动物引擎，该动物发动机采用了有效的基于OCTREE的动物动画和毛皮渲染的代表。然后，该动画等同于基于显式骨骼翘曲的体素级变形。我们进一步使用快速的OCTREE索引和有效的体积渲染方案来生成外观和密度特征地图。最后，我们提出了一个新颖的阴影网络，以在外观和密度特征图中生成外观和不透明度的高保真细节。对于Artemis中的运动控制模块，我们将最新动物运动捕获方法与最近的神经特征控制方案相结合。我们引入了一种有效的优化方案，以重建由多视图RGB和Vicon相机阵列捕获的真实动物的骨骼运动。我们将所有捕获的运动馈送到神经角色控制方案中，以生成具有运动样式的抽象控制信号。我们将Artemis进一步整合到支持VR耳机的现有引擎中，提供了前所未有的沉浸式体验，用户可以与各种具有生动动作和光真实外观的虚拟动物进行紧密互动。我们可以通过https://haiminluo.github.io/publication/artemis/提供我们的Artemis模型和动态毛茸茸的动物数据集。

人工智能（AI）为简化Covid-19诊断提供了有前景的替代。然而，涉及周围的安全和可信度的担忧阻碍了大规模代表性的医学数据，对临床实践中训练广泛的模型造成了相当大的挑战。为了解决这个问题，我们启动了统一的CT-Covid AI诊断计划（UCADI），其中AI模型可以在没有数据共享的联合学习框架（FL）下在每个主机机构下分发和独立地在没有数据共享的情况下在每个主机机构上执行。在这里，我们认为我们的FL模型通过大的产量（中国测试敏感性/特异性：0.973 / 0.951，英国：0.730 / 0.942），与专业放射科医师的面板实现可比性表现。我们进一步评估了持有的模型（从另外两家医院收集，留出FL）和异构（用造影材料获取）数据，提供了模型所做的决策的视觉解释，并分析了模型之间的权衡联邦培训过程中的性能和沟通成本。我们的研究基于来自位于中国和英国的23家医院的3,336名患者的9,573次胸部计算断层扫描扫描（CTS）。统称，我们的工作提出了利用联邦学习的潜在保留了数字健康的前景。

随着深度学习模型的速度较大，需要进行大型型号培训的系统级解决方案。我们展示了Amazon Sagemaker模型并行性，这是一个与Pytorch集成的软件库，并且可以使用模型并行性和其他内存节省功能轻松培训大型模型。与现有解决方案相比，Sagemaker库的实现更通用，灵活，因为它可以自动分区和运行具有最小代码的任意模型架构上的管道并行性，并且还为张量并行度提供一般和可扩展的框架，它支持更广泛的用例，并且可以轻松应用于新培训脚本的模块化。该库还将本机Pytorch用户体验保留到更大的程度，支持模块重复使用和动态图形，同时让用户完全控制训练步骤的细节。我们评估GPT-3，Roberta，BERT和神经协作过滤的性能，并表现出对现有解决方案的竞争性能。

照片逼真的面部视频肖像重演益处虚拟生产和众多VR / AR经验。由于肖像应该保持高现实主义和与目标环境的一致性，任务仍然具有挑战性。在本文中，我们介绍了一种可靠的神经视频肖像，同步的致密和再生方案，其将头部姿势和面部表达从源actor传送到具有任意新的背景和照明条件的目标演员的肖像视频。我们的方法结合了4D反射场学习，基于模型的面部性能捕获和目标感知神经渲染。具体地，我们采用渲染到视频翻译网络首先从混合面部性能捕获结果中合成高质量的OLAT镜片和alpha锍。然后，我们设计了一个语义感知的面部归一化方案，以实现可靠的显式控制以及多帧多任务学习策略，以同时编码内容，分割和时间信息以获得高质量的反射场推断。在培训之后，我们的方法进一步实现了目标表演者的照片现实和可控的视频肖像编辑。通过将相同的混合面部捕获和归一化方案应用于源视频输入，可以获得可靠的面部姿势和表达编辑，而我们的显式alpha和Olat输出使高质量的依据和背景编辑能够实现。凭借实现同步致密和再生的能力，我们能够改善各种虚拟生产和视频重写应用程序的现实主义。

Recent works on domain adaptation reveal the effectiveness of adversarial learning on filling the discrepancy between source and target domains. However, two common limitations exist in current adversarial-learning-based methods. First, samples from two domains alone are not sufficient to ensure domain-invariance at most part of latent space. Second, the domain discriminator involved in these methods can only judge real or fake with the guidance of hard label, while it is more reasonable to use soft scores to evaluate the generated images or features, i.e., to fully utilize the inter-domain information. In this paper, we present adversarial domain adaptation with domain mixup (DM-ADA), which guarantees domain-invariance in a more continuous latent space and guides the domain discriminator in judging samples' difference relative to source and target domains. Domain mixup is jointly conducted on pixel and feature level to improve the robustness of models. Extensive experiments prove that the proposed approach can achieve superior performance on tasks with various degrees of domain shift and data complexity.