Nowadays, the need for user editing in a 3D scene has rapidly increased due to the development of AR and VR technology. However, the existing 3D scene completion task (and datasets) cannot suit the need because the missing regions in scenes are generated by the sensor limitation or object occlusion. Thus, we present a novel task named free-form 3D scene inpainting. Unlike scenes in previous 3D completion datasets preserving most of the main structures and hints of detailed shapes around missing regions, the proposed inpainting dataset, FF-Matterport, contains large and diverse missing regions formed by our free-form 3D mask generation algorithm that can mimic human drawing trajectories in 3D space. Moreover, prior 3D completion methods cannot perform well on this challenging yet practical task, simply interpolating nearby geometry and color context. Thus, a tailored dual-stream GAN method is proposed. First, our dual-stream generator, fusing both geometry and color information, produces distinct semantic boundaries and solves the interpolation issue. To further enhance the details, our lightweight dual-stream discriminator regularizes the geometry and color edges of the predicted scenes to be realistic and sharp. We conducted experiments with the proposed FF-Matterport dataset. Qualitative and quantitative results validate the superiority of our approach over existing scene completion methods and the efficacy of all proposed components.

Prior work on ideology prediction has largely focused on single modalities, i.e., text or images. In this work, we introduce the task of multimodal ideology prediction, where a model predicts binary or five-point scale ideological leanings, given a text-image pair with political content. We first collect five new large-scale datasets with English documents and images along with their ideological leanings, covering news articles from a wide range of US mainstream media and social media posts from Reddit and Twitter. We conduct in-depth analyses of news articles and reveal differences in image content and usage across the political spectrum. Furthermore, we perform extensive experiments and ablation studies, demonstrating the effectiveness of targeted pretraining objectives on different model components. Our best-performing model, a late-fusion architecture pretrained with a triplet objective over multimodal content, outperforms the state-of-the-art text-only model by almost 4% and a strong multimodal baseline with no pretraining by over 3%.

为了以低成本的自动驾驶成本实现准确的3D对象检测，已经提出了许多多摄像机方法并解决了单眼方法的闭塞问题。但是，由于缺乏准确的估计深度，现有的多摄像机方法通常会沿着深度方向产生多个边界框，例如行人等困难的小物体，从而产生极低的召回。此外，将深度预测模块直接应用于通常由大型网络体系结构组成的现有多摄像机方法，无法满足自动驾驶应用程序的实时要求。为了解决这些问题，我们提出了3D对象检测的跨视图和深度引导的变压器，CrossDTR。首先，我们的轻质深度预测器旨在生成精确的对象稀疏深度图和低维深度嵌入，而在监督过程中，无需额外的深度数据集。其次，开发了一个跨视图引导的变压器，以融合深度嵌入以及来自不同视图的相机的图像特征并生成3D边界框。广泛的实验表明，我们的方法在行人检测中大大超过了10％，总体图和NDS指标中约为3％。同样，计算分析表明，我们的方法比以前的方法快5倍。我们的代码将在https://github.com/sty61010/crossdtr上公开提供。

公平的积极学习（FAL）利用积极的学习技术来实现有限的数据，并在敏感组之间达到公平性（例如，性别）。但是，FAL尚未解决对抗性攻击对各种安全至关重要的机器学习应用至关重要的影响。观察到这一点，我们介绍了一项新颖的任务，公平的健壮的积极学习（FRAL），整合了常规的FAL和对抗性鲁棒性。弗拉尔（Fral）要求ML模型利用主动学习技术在良性数据上共同实现均衡的绩效，并对群体之间的对抗性攻击进行均衡的鲁棒性。在这项新任务中，以前的FAL方法通常面临无法忍受的计算负担和无效性的问题。因此，我们通过联合不一致（JIN）制定了一种简单而有效的弗拉尔策略。为了有效地找到可以提高弱势组标签的性能和鲁棒性的样品，我们的方法利用了良性和对抗样本以及标准模型和强大模型之间的预测不一致。在不同的数据集和敏感组下进行的广泛实验表明，我们的方法不仅可以在良性样本上实现更公平的性能，而且与现有的活跃学习和FAL基本线相比，在白盒PGD攻击下，我们的方法还获得了更公平的鲁棒性。我们很乐观，弗拉尔将为开发安全，强大的ML研究和应用程序（例如生物识别系统中的面部属性识别）铺平道路。

在域适应领域，模型性能与目标域注释的数量之间存在权衡。积极的学习，最大程度地提高了模型性能，几乎没有信息的标签数据，以方便这种情况。在这项工作中，我们提出了D2ADA，这是用于语义分割的一般活动域的适应框架。为了使模型使用最小查询标签调整到目标域，我们提出了在目标域中具有高概率密度的样品的获取标签，但源域中的概率密度较低，与现有源域标记的数据互补。为了进一步提高标签效率，我们设计了动态的调度策略，以调整域探索和模型不确定性之间的标签预算。广泛的实验表明，我们的方法的表现优于现有的活跃学习和域适应基线，这两个基准测试基准，GTA5-> CityScapes和Synthia-> CityScapes。对于目标域注释不到5％，我们的方法与完全监督的结果可比结果。我们的代码可在https://github.com/tsunghan-wu/d2ada上公开获取。

肺癌是最致命的癌症之一，部分诊断和治疗取决于肿瘤的准确描绘。目前是最常见的方法的人以人为本的分割，须遵守观察者间变异性，并且考虑到专家只能提供注释的事实，也是耗时的。最近展示了有前途的结果，自动和半自动肿瘤分割方法。然而，随着不同的研究人员使用各种数据集和性能指标验证了其算法，可靠地评估这些方法仍然是一个开放的挑战。通过2018年IEEE视频和图像处理（VIP）杯竞赛创建的计算机断层摄影扫描（LOTUS）基准测试的肺起源肿瘤分割的目标是提供唯一的数据集和预定义的指标，因此不同的研究人员可以开发和以统一的方式评估他们的方法。 2018年VIP杯始于42个国家的全球参与，以获得竞争数据。在注册阶段，有129名成员组成了来自10个国家的28个团队，其中9个团队将其达到最后阶段，6队成功完成了所有必要的任务。简而言之，竞争期间提出的所有算法都是基于深度学习模型与假阳性降低技术相结合。三种决赛选手开发的方法表明，有希望的肿瘤细分导致导致越来越大的努力应降低假阳性率。本次竞争稿件概述了VIP-Cup挑战，以及所提出的算法和结果。

异常意识是安全关键型应用的重要能力，如自主驾驶。虽然最近的机器人和计算机视觉的进展使得对图像分类的异常检测，但对语义细分的异常检测不太探讨。传统的异常感知系统假设其他现有类作为用于训练模型的分发（伪未知）类的类将导致两个缺点。 （1）未知类，需要应对哪些应用程序，在培训时间内实际上无法实际存在。 （2）模型性能强烈依赖课堂选择。观察这一点，我们提出了一种新的合成未知数据生成，打算解决异常感知语义分割任务。我们设计一个新的蒙版渐变更新（MGU）模块，以沿着分布边界生成辅助数据。此外，我们修改了传统的跨熵损失，强调边界数据点。我们在两个异常分段数据集上达到最先进的性能。消融研究还证明了所提出的模块的有效性。

尽管深入学习对监督点云语义细分的成功取得了成功，但获得大规模的逐点手动注释仍然是一个重大挑战。为了减轻巨大的注释负担，我们提出了一个基于区域和多样性的积极学习（REDAL），这是许多深度学习方法的一般框架，旨在自动选择用于标签获取的信息丰富和多样化的子场所。观察到只有一小部分带注释的区域足以通过深度学习的方式理解3D场景，我们使用SoftMax熵，颜色不连续性和结构复杂性来衡量子场所区域的信息。还开发了一种多样性的选择算法，以避免通过在查询批次中选择信息性但相似的区域而产生的多余注释。广泛的实验表明，我们的方法的表现高于先前的活跃学习策略，并且我们达到了90％的全面监督学习，而S3DIS和Semantickitti数据集则需要不到15％和5％的注释。我们的代码可在https://github.com/tsunghan-wu/redal上公开获取。

深度估计功能有助于3D识别。商品级深度摄像机能够实时捕获深度和颜色图像。但是，传感器不能正确扫描光泽，透明或远处的表面。结果，感应深度的增强和恢复是一项重要任务。深度完成旨在填补传感器无法检测到的孔，这对于机器学习仍然是一项复杂的任务。传统的手工调整方法已达到其极限，而基于神经网络的方法倾向于从周围的深度值中复制和插入输出。这导致边界模糊，深度图的结构丢失了。因此，我们的主要工作是设计一个端到端网络，以改善完成深度图，同时保持边缘清晰度。我们利用以前在图像介入字段中使用的自我发项机制在每层卷积层中提取更多有用的信息，从而增强了完整的深度图。此外，我们提出了边界一致性概念，以增强深度图质量和结构。实验结果验证了我们的自我注意力和边界一致性模式的有效性，这表现优于先前在Matterport3D数据集上的最新深度完成工作。我们的代码可在https://github.com/tsunghan-wu/depth-completion上公开获取。

高度期望可以通过视觉信号执行复杂任务并与人合作执行复杂任务的空间AI。为了实现这一目标，我们需要一个视觉大满贯，该猛击很容易适应新场景而无需预训练，并为实时的下游任务生成密集的地图。由于其组件的固有局限性，先前基于学习和非学习的视觉大满贯都不满足所有需求。在这项工作中，我们开发了一个名为Orbeez-Slam的视觉猛烈抨击，该作品成功地与隐式神经表示（NERF）和视觉探测仪合作以实现我们的目标。此外，Orbeez-Slam可以与单眼相机一起使用，因为它只需要RGB输入，从而广泛适用于现实世界。我们验证其对各种具有挑战性的基准的有效性。结果表明，我们的大满贯速度比强大的渲染结果快800倍。