Language is one of the primary means by which we describe the 3D world around us. While rapid progress has been made in text-to-2D-image synthesis, similar progress in text-to-3D-shape synthesis has been hindered by the lack of paired (text, shape) data. Moreover, extant methods for text-to-shape generation have limited shape diversity and fidelity. We introduce TextCraft, a method to address these limitations by producing high-fidelity and diverse 3D shapes without the need for (text, shape) pairs for training. TextCraft achieves this by using CLIP and using a multi-resolution approach by first generating in a low-dimensional latent space and then upscaling to a higher resolution, improving the fidelity of the generated shape. To improve shape diversity, we use a discrete latent space which is modelled using a bidirectional transformer conditioned on the interchangeable image-text embedding space induced by CLIP. Moreover, we present a novel variant of classifier-free guidance, which further improves the accuracy-diversity trade-off. Finally, we perform extensive experiments that demonstrate that TextCraft outperforms state-of-the-art baselines.

我们提出了ShapeCrafter，这是一个用于递归文本条件3D形状生成的神经网络。生成文本条件的3D形状的现有方法会消耗整个文本提示，以在一个步骤中生成3D形状。但是，人类倾向于递归描述形状，我们可能以初始描述开始，并根据中间结果逐步添加细节。为了捕获此递归过程，我们引入了一种生成以初始短语为条件的3D形状分布的方法，该方法随着添加更多短语而逐渐发展。由于现有的数据集不足以训练这种方法，因此我们提出了Text2Shape ++，这是一个支持递归形状生成的369K形状文本对的大数据集。为了捕获通常用于完善形状描述的本地细节，我们建立在矢量定量的深层隐式函数的基础上，从而产生高质量形状的分布。结果表明，我们的方法可以生成与文本描述一致的形状，并且随着添加更多短语，形状逐渐发展。我们的方法支持形状编辑，外推，并可以在人机合作中为创意设计提供新的应用程序。

制造物体的3D模型对于填充虚拟世界和视觉和机器人技术的合成数据很重要。为了最有用，应该阐明此类对象：它们的部分应在与之互动时移动。尽管存在铰接式对象数据集，但创建它们是劳动密集型的。基于学习的零件动作预测可以有所帮助，但是所有现有方法都需要带注释的培训数据。在本文中，我们提出了一种无监督的方法，用于发现部分分段的3D形状集合中的铰接运动。我们的方法基于我们称之为闭合的概念：对象的部分的任何有效表达都应将对象保留在同一语义类别中（例如，椅子保持椅子）。我们使用一种算法来实现此概念，该算法优化了形状的零件运动参数，从而可以转换为集合中的其他形状。我们通过使用Partnet-Mobility数据集重新发现零件动作来评估我们的方法。对于几乎所有形状类别，我们方法的预测运动参数在地面真实注释方面的错误较低，表现优于两种监督运动预测方法。

我们提出切碎，这是一种3D形状区域分解的方法。 Shred将3D点云作为输入，并使用学习的本地操作来产生近似细粒零件实例的分割。我们将切碎的分解操作赋予了三个分解操作：分裂区域，固定区域之间的边界，并将区域合并在一起。模块经过独立和本地培训，使切碎可以为在培训过程中未见的类别生成高质量的细分。我们通过Partnet的细粒细分进行训练和评估切碎；使用其合并 - 阈值超参数，我们表明，在任何所需的分解粒度下，切碎的分割可以更好地尊重与基线方法相比，更好地尊重地面真相的注释。最后，我们证明切碎对于下游应用非常有用，在零弹药细粒的零件实例分割上的所有基准都超过了所有基准，并且当与学习标记形状区域的方法结合使用时，几乎没有发射细粒的语义分割。

建筑环境中许多物体的形状由他们与人体的关系决定：一个人将如何与这个对象进行互动？ 3D形状的现有数据驱动的生成模型产生合理的物体，但不会理由对人体的那些物体的关系。在本文中，我们学习了3D形状的身体感知生成模型。具体而言，我们培养椅子的生成型号，一种无处不在的形状类别，可以在给定的身体形状或坐姿姿势调节。身体形状调节的型号生产椅子，为具有给定体形的人舒适;姿势调节模型生产适应坐姿的椅子。要训​​练这些模型，我们定义了“坐姿匹配”度量标准和小说“坐姿舒适”度量。计算这些指标需要昂贵的优化将身体置于椅子上，这太慢被用作用于训练生成模型的损耗功能。因此，我们训练神经网络以有效地近似这些度量。我们使用我们的方法培训三个身体感知生成形状模型：基于结构的零件的发电机，点云发生器和隐式表面发生器。在所有情况下，我们的方法都生产适应其输出椅形状以输入人体规格的型号。

现实的3D室内场景数据集在计算机视觉，场景理解，自主导航和3D重建中启用了最近的最近进展。但是，现有数据集的规模，多样性和可定制性有限，并且扫描和注释更多的耗时和昂贵。幸运的是，组合者在我们方面：现有3D场景数据集有足够的个别房间，如果有一种方法可以将它们重新组合成新的布局。在本文中，我们提出了从现有3D房间生成新型3D平面图的任务。我们确定了这个问题的三个子任务：生成2D布局，检索兼容3D房间，以及3D房间的变形，以适应布局。然后，我们讨论解决问题的不同策略，设计两个代表性管道：一个使用可用的2D楼层计划，以指导3D房间的选择和变形;另一个学习检索一组兼容的3D房间，并将它们与新颖的布局相结合。我们设计一组指标，可评估所生成的结果与三个子任务中的每一个，并显示不同的方法在这些子任务上交易性能。最后，我们调查从生成的3D场景中受益的下游任务，并讨论选择最适合这些任务的需求的方法。

我们通过执行基于接触的推理，提供了一种形状部分插槽机，一种用于组装来自现有部件的新型3D形状。我们的方法表示每个形状作为“槽”的图形，其中每个槽是两个形状部件之间的接触区域。基于此表示，我们设计了一种基于图形 - 神经网络的模型，用于生成新的插槽图和检索兼容部分，以及基于梯度 - 下降的优化方案，用于将检索到的部分组装成尊重所生成的完整形状插槽图。这种方法不需要任何语义部分标签;有趣的是，它还不需要完整的部分几何形状 - 推理零件连接的区域足以产生新颖的，高质量的3D形状。我们展示了我们的方法在质量，多样性和结构复杂性方面产生了优于现有的逐个拟合方法的形状。

我们提出了神经引导的形状解析器（NGSP），一种方法，该方法学习如何将细粒度语义标签分配给3D形状的区域。 NGSP通过MAP推断解决了这个问题，在输入形状上建模了标签分配的后验概率，其具有学习的似然函数。为了使这次搜索易于进行，NGSP采用神经指南网络，了解近似后部。 NGSP通过使用引导网络的第一次采样提案找到高概率标签分配，然后在完全可能性下评估每个提案。我们评估NGSP从Partnet的制造3D形状的细粒度语义分割任务，其中形状被分解成对应于零件实例过分分割的区域。我们发现NGSP通过比较方法提供显着的性能改进，（i）使用区域对分组每点预测，（ii）使用区域作为自我监督信号或（iii）将标签分配给替代配方下的区域。此外，我们表明，即使具有有限的标记数据或作为形状区域经历人为腐败，NGSP即使具有有限的人为腐败，也会保持强劲的性能。最后，我们证明了NGSP可以直接应用于在线存储库中的CAD形状，并验证其效力与感知研究。

将生成2D和3D形状的推断程序对于逆向工程，编辑等来重要。执行此任务的培训模型是复杂的，因为许多域不容易获得配对（形状，程序）数据，使精确的监督学习不可行。但是，可以通过损害分配的程序标签或形状分布的精度来获得配对数据。唤醒睡眠方法使用形状程序的生成模型中的样品来近似真实形状的分布。在自我训练中，形状通过识别模型，该模型预测被视为这些形状的伪标签的程序。与这些方法有关，我们介绍了一种新的自我训练变体，可以进行编程推断，其中程序伪标签与其执行的输出形状配对，避免了以近似形状分布的成本的标签不匹配。我们建议在单一的概念框架下对这些制度进行分组，其中培训是以伪标签或近似分布（PLAD）提供的最大似然更新。我们在多个2D和3D形状程序推理域中评估这些技术。与政策梯度加固学习相比，我们展示了Plad技术推断更准确的形状程序并更快地收敛。最后，我们建议将不同PLAD方法的更新结合在一个模型的训练中，并发现这种方法优于任何单独的技术。

监督主体组件分析（SPCA）的方法旨在将标签信息纳入主成分分析（PCA），以便提取的功能对于预测感兴趣的任务更有用。SPCA的先前工作主要集中在优化预测误差上，并忽略了提取功能解释的最大化方差的价值。我们为SPCA提出了一种新的方法，该方法共同解决了这两个目标，并从经验上证明我们的方法主导了现有方法，即在预测误差和变异方面都超越了它们的表现。我们的方法可容纳任意监督的学习损失，并通过统计重新制定提供了广义线性模型的新型低级扩展。