语义3D场景理解是机器人技术至关重要的问题。尽管在空间感知方面已经取得了重大进展，但机器人仍然远非对普通人的家庭对象和位置具有常识性知识。因此，我们研究了大型语言模型来传授常识以进行场景理解。具体来说，我们介绍了三个范式，用于利用语言根据其包含的对象在室内环境中分类房间：（i）零摄像的方法，（ii）馈送前向分类器方法，以及（iii）对比分类器方法。这些方法在现代空间感知系统产生的3D场景图上运行。然后，我们分析了每种方法，证明了由于使用语言而引起的显着零拍概括和传递功能。最后，我们表明这些方法还适用于从包含房间中推断建筑标签，并在真实环境中演示我们的零弹方法。所有代码均可在https://github.com/mit-spark/llm_scene_understanding上找到。

语义3D场景理解是机器人技术至关重要的问题。尽管在同时定位和映射算法方面已经取得了重大进展，但机器人仍然远没有关于家庭对象及其普通人的位置的常识知识。我们介绍了一种新的方法，用于利用大语模型中嵌入的常识来标记室内包含的对象。该算法具有（i）不需要特定特定任务的预训练（完全在零拍摄方案中运行）和（ii）推广到任意房间和对象标签的额外好处在理解算法的机器人场景中，是非常理想的特征。所提出的算法在现代空间感知系统产生的3D场景图上运行，我们希望它将为机器人技术提供更概括和可扩展的高级3D场景理解铺平道路。

我们研究开放世界3D场景的理解，这是一个要求代理商的一系列任务，以开放式词汇和外域视觉输入来推理其3D环境，这是机器人在非结构化的3D世界中操作的关键技能。为此，我们提出了语义抽象（SEMABS），该框架将2D视觉模型（VLMS）具有新的3D空间功能，同时保持其零击的稳健性。我们使用从剪辑中提取的相关图实现了这种抽象，并以语义不平衡的方式学习了这些抽象的3D空间和几何推理技能。我们演示了SEMABS对两个开放世界3D场景的有用性理解任务：1）完成部分观察到的对象，2）从语言描述中定位隐藏的对象。实验表明，SEMABS可以从有限的3D合成数据进行训练中概括为新颖的词汇，材料/照明，类和域（即现实世界扫描）。代码和数据将在https://semantic-abstraction.cs.columbia.edu/上找到。

最近的作品表明，如何将大语言模型（LLM）的推理能力应用于自然语言处理以外的领域，例如机器人的计划和互动。这些具体的问题要求代理商了解世界上许多语义方面：可用技能的曲目，这些技能如何影响世界以及对世界的变化如何映射回该语言。在体现环境中规划的LLMS不仅需要考虑要做什么技能，还需要考虑如何以及何时进行操作 - 答案随着时间的推移而变化，以响应代理商自己的选择。在这项工作中，我们调查了在这种体现的环境中使用的LLM在多大程度上可以推论通过自然语言提供的反馈来源，而无需任何其他培训。我们建议，通过利用环境反馈，LLM能够形成内部独白，使他们能够在机器人控制方案中进行更丰富的处理和计划。我们研究了各种反馈来源，例如成功检测，场景描述和人类互动。我们发现，闭环语言反馈显着改善了三个领域的高级指导完成，包括模拟和真实的桌面顶部重新排列任务以及现实世界中厨房环境中的长途移动操作任务。

大型语言模型（LLM）从人类的指示中解开了任务计划的新功能。但是，事先尝试将LLMS应用于现实世界的机器人任务受到周围场景中缺乏接地的限制。在本文中，我们开发了NLMAP，这是一个开放式摄影和可查询场景表示，以解决此问题。 NLMAP是一个框架，可以将上下文信息收集到LLM计划者中，从而在生成上下文条件条件计划之前，可以在场景中查看和查询可用的对象。 NLMAP首先使用视觉语言模型（VLM）建立自然语言可查询场景表示。基于LLM的对象建议模块解析指令并提出涉及的对象，以查询场景表示以获取对象可用性和位置。然后，LLM规划师计划提供有关场景的此类信息。 NLMAP允许机器人在没有固定的对象列表或可执行选项的情况下操作，从而使真实的机器人操作无法通过以前的方法实现。项目网站：https：//nlmap-saycan.github.io

Traditional 3D scene understanding approaches rely on labeled 3D datasets to train a model for a single task with supervision. We propose OpenScene, an alternative approach where a model predicts dense features for 3D scene points that are co-embedded with text and image pixels in CLIP feature space. This zero-shot approach enables task-agnostic training and open-vocabulary queries. For example, to perform SOTA zero-shot 3D semantic segmentation it first infers CLIP features for every 3D point and later classifies them based on similarities to embeddings of arbitrary class labels. More interestingly, it enables a suite of open-vocabulary scene understanding applications that have never been done before. For example, it allows a user to enter an arbitrary text query and then see a heat map indicating which parts of a scene match. Our approach is effective at identifying objects, materials, affordances, activities, and room types in complex 3D scenes, all using a single model trained without any labeled 3D data.

Scene graph generation from images is a task of great interest to applications such as robotics, because graphs are the main way to represent knowledge about the world and regulate human-robot interactions in tasks such as Visual Question Answering (VQA). Unfortunately, its corresponding area of machine learning is still relatively in its infancy, and the solutions currently offered do not specialize well in concrete usage scenarios. Specifically, they do not take existing "expert" knowledge about the domain world into account; and that might indeed be necessary in order to provide the level of reliability demanded by the use case scenarios. In this paper, we propose an initial approximation to a framework called Ontology-Guided Scene Graph Generation (OG-SGG), that can improve the performance of an existing machine learning based scene graph generator using prior knowledge supplied in the form of an ontology (specifically, using the axioms defined within); and we present results evaluated on a specific scenario founded in telepresence robotics. These results show quantitative and qualitative improvements in the generated scene graphs.

我们介绍了泰德（Tidee），这是一种体现的代理，它根据学识渊博的常识对象和房间安排先验来整理一个无序场景。泰德（Tidee）探索家庭环境，检测到其自然位置的对象，渗透到它们的合理对象上下文，在当前场景中定位此类上下文，并重新定位对象。常识先验在三个模块中编码：i）检测到现象对象的视觉声音检测器，ii）对象和空间关系的关联神经图记忆，提出了对象重新定位的合理语义插座和表面，以及iii）引导代理商探索的可视搜索网络，以有效地将利益定位在当前场景中以重新定位对象。我们测试了在AI2THOR模拟环境中整理混乱的场景的潮汐。 Tidee直接从像素和原始深度输入中执行任务，而没有事先观察到同一房间，仅依靠从单独的一组培训房屋中学到的先验。人类对由此产生的房间进行重组的评估表明，泰德（Tidee）的表现优于该模型的消融版本，这些版本不使用一个或多个常识性先验。在相关的房间重新安排基准测试中，该基准使代理可以在重新排列前查看目标状态，我们的模型的简化版本大大胜过了最佳的方法，可以通过大幅度的差距。代码和数据可在项目网站上获得：https：//tidee-agent.github.io/。

3D场景图最近已成为3D环境的强大高级表示。一个3D场景图将环境描述为一个分层图，其中节点在多个级别的抽象和边缘表示概念之间的关系。尽管3D场景图可以用作机器人的高级“心理模型”，但如何实时建立如此丰富的代表仍然是未知的领域。本文描述了一个实时空间感知系统，这是一套算法，可实时从传感器数据构建3D场景图。我们的第一个贡献是开发实时算法，以在机器人探索环境时逐步构建场景图的层。这些算法在当前机器人位置构建了本地欧几里得签名的距离功能（ESDF），从ESDF中提取位置的拓扑图，然后使用受社区检测技术启发的方法将其分为房间。我们的第二个贡献是研究3D场景图中的循环闭合检测和优化。我们表明，3D场景图允许定义层次描述符以进行循环闭合检测；我们的描述符捕获场景图中跨层的统计信息，从低级视觉外观到有关对象和位置的摘要统计信息。然后，我们提出了第一种算法来优化3D场景图，以响应循环封闭。我们的方法依靠嵌入式变形图同时校正场景图的所有层。我们将提出的空间感知系统实施到一个名为Hydra的体系结构中，该体系结合了快速的早期和中级感知过程与较慢的高级感知。我们在模拟和真实数据上评估了Hydra，并证明它能够以与批处理离线方法相当的准确性重建3D场景图，尽管在线运行。

许多应用程序要求机器人在与人类或其他机器人等其他代理商共享的环境中运行。但是，这种共享场景通常会受到不同种类的长期语义场景的变化。因此，建模和预测这种变化的能力对于机器人自主权至关重要。在这项工作中，我们将语义场景变异性估计的任务形式化，并确定语义场景的三个主要品种变化：对象的位置，其语义状态或整个场景的组成。为了表示这种可变性，我们提出了可变场景图（VSG），该图表图具有可变性属性的现有3D场景图（SG）表示，代表离散长期变更事件的可能性。我们提出了一种新颖的方法Deltavsg，以估计以监督方式估计VSG的可变性。我们在3RSCAN长期数据集上评估了我们的方法，显示了这项新型任务对现有方法的显着改进。我们的方法Deltavsg的精度为72.2％，召回66.8％，通常模仿人类关于室内场景如何随着时间变化的直觉。我们进一步显示了VSG预测在主动机器人变更检测任务中的实用性，与场景变化 - 诺瓦尔计划者相比，任务完成加快了62.4％。我们将代码作为开源。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。

大型语言模型可以编码有关世界的大量语义知识。这种知识对于旨在采取自然语言表达的高级，时间扩展的指示的机器人可能非常有用。但是，语言模型的一个重大弱点是，它们缺乏现实世界的经验，这使得很难利用它们在给定的体现中进行决策。例如，要求语言模型描述如何清洁溢出物可能会导致合理的叙述，但是它可能不适用于需要在特定环境中执行此任务的特定代理商（例如机器人）。我们建议通过预处理的技能来提供现实世界的基础，这些技能用于限制模型以提出可行且在上下文上适当的自然语言动作。机器人可以充当语​​言模型的“手和眼睛”，而语言模型可以提供有关任务的高级语义知识。我们展示了如何将低级技能与大语言模型结合在一起，以便语言模型提供有关执行复杂和时间扩展说明的过程的高级知识，而与这些技能相关的价值功能则提供了连接必要的基础了解特定的物理环境。我们在许多现实世界的机器人任务上评估了我们的方法，我们表明了对现实世界接地的需求，并且这种方法能够在移动操纵器上完成长远，抽象的自然语言指令。该项目的网站和视频可以在https://say-can.github.io/上找到。

在视觉和语言导航（VLN）中，按照自然语言指令在现实的3D环境中需要具体的代理。现有VLN方法的一个主要瓶颈是缺乏足够的培训数据，从而导致对看不见的环境的概括不令人满意。虽然通常会手动收集VLN数据，但这种方法很昂贵，并且可以防止可扩展性。在这项工作中，我们通过建议从HM3D自动创建900个未标记的3D建筑物的大规模VLN数据集来解决数据稀缺问题。我们为每个建筑物生成一个导航图，并通过交叉视图一致性从2D传输对象预测，从2D传输伪3D对象标签。然后，我们使用伪对象标签来微调一个预处理的语言模型，作为减轻教学生成中跨模式差距的提示。在导航环境和说明方面，我们生成的HM3D-AUTOVLN数据集是比现有VLN数据集大的数量级。我们通过实验表明，HM3D-AUTOVLN显着提高了所得VLN模型的概括能力。在SPL指标上，我们的方法分别在Reverie和DataSet的看不见的验证分裂分别对艺术的状态提高了7.1％和8.1％。

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

感知，规划，估算和控制的当代方法允许机器人在不确定，非结构化环境中的远程代理中稳健运行。此进度现在创造了机器人不仅在隔离，而且在我们的复杂环境中运行的机器人。意识到这个机会需要一种高效且灵活的媒介，人类可以与协作机器人沟通。自然语言提供了一种这样的媒体，通过对自然语言理解的统计方法的重大进展，现在能够解释各种自由形式命令。然而，大多数当代方法需要机器人环境的详细，现有的空间语义地图，这些环境模拟了话语可能引用的可能引用的空间。因此，当机器人部署在新的，先前未知或部分观察到的环境中时，这些方法发生故障，特别是当环境的心理模型在人类运营商和机器人之间不同时。本文提供了一种新的学习框架的全面描述，允许现场和服务机器人解释并正确执行先验未知，非结构化环境中的自然语言指令。对于我们的方法而不是我们的语言作为“传感器” - 在话语中隐含的“传感器” - 推断的空间，拓扑和语义信息，然后利用这些信息来学习在潜在环境模型上的分布。我们将此分布纳入概率，语言接地模型中，并在机器人的动作空间的象征性表示中推断出分布。我们使用模仿学习来确定对环境和行为分布的原因的信仰空间政策。我们通过各种导航和移动操纵实验评估我们的框架。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

将简单的体系结构与大规模预训练相结合已导致图像分类的大量改进。对于对象检测，预训练和缩放方法的确定性不佳，尤其是在长尾和开放式摄影的环境中，训练数据相对较少。在本文中，我们提出了一个强大的配方，用于将图像文本模型转移到开放式对象检测中。我们使用具有最小修改，对比度文本预训练和端到端检测微调的标准视觉变压器体系结构。我们对该设置的缩放属性的分析表明，增加图像级预训练和模型大小在下游检测任务上产生一致的改进。我们提供适应性策略和正规化，以实现零击文本条件和单次图像条件对象检测的非常强劲的性能。代码和型号可在GitHub上找到。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

服务机器人应该能够与非专家用户自然互动，不仅可以帮助他们完成各种任务，还可以接收指导，以解决指导中可能存在的歧义。我们考虑了视觉接地的任务，在这种情况下，代理将对象从拥挤的场景中分离出自然语言描述。现代的整体视觉接地方法通常忽略语言结构，而努力覆盖通用领域，因此很大程度上依靠大型数据集。此外，由于基准和目标域之间的高视觉差异，它们在RGB-D数据集中的传输性能受到了影响。模块化方法将学习与领域建模结合并利用语言的组成性质，以使视觉表示从语言解析中解脱出来，但由于缺乏强大的监督，要么依靠外部解析或以端到端的方式进行训练。在这项工作中，我们试图通过引入一个完全脱钩的模块化框架来解决这些局限性，以构成实体，属性和空间关系的组成视觉基础。我们利用在合成域中生成的丰富场景图表注释，并独立训练每个模块。我们的方法在模拟和两个真实的RGB-D场景数据集中进行了评估。实验结果表明，我们的框架的解耦性可以轻松地与域适应方法相结合，以实现SIMS到现实的视觉识别，从而为机器人应用中的视觉接地提供了数据效率，健壮且可解释的解决方案。