Information Extraction (IE) aims to extract structured information from heterogeneous sources. IE from natural language texts include sub-tasks such as Named Entity Recognition (NER), Relation Extraction (RE), and Event Extraction (EE). Most IE systems require comprehensive understandings of sentence structure, implied semantics, and domain knowledge to perform well; thus, IE tasks always need adequate external resources and annotations. However, it takes time and effort to obtain more human annotations. Low-Resource Information Extraction (LRIE) strives to use unsupervised data, reducing the required resources and human annotation. In practice, existing systems either utilize self-training schemes to generate pseudo labels that will cause the gradual drift problem, or leverage consistency regularization methods which inevitably possess confirmation bias. To alleviate confirmation bias due to the lack of feedback loops in existing LRIE learning paradigms, we develop a Gradient Imitation Reinforcement Learning (GIRL) method to encourage pseudo-labeled data to imitate the gradient descent direction on labeled data, which can force pseudo-labeled data to achieve better optimization capabilities similar to labeled data. Based on how well the pseudo-labeled data imitates the instructive gradient descent direction obtained from labeled data, we design a reward to quantify the imitation process and bootstrap the optimization capability of pseudo-labeled data through trial and error. In addition to learning paradigms, GIRL is not limited to specific sub-tasks, and we leverage GIRL to solve all IE sub-tasks (named entity recognition, relation extraction, and event extraction) in low-resource settings (semi-supervised IE and few-shot IE).

场景图是一种语义表示，表达场景中对象之间的对象，属性和关系。场景图在许多交叉模态任务中起着重要作用，因为它们能够捕获图像和文本之间的交互。在本文中，我们关注场景图修改（SGM），其中需要系统来学习如何基于自然语言查询更新现有场景图。与以前重建整个场景图的方法不同，我们通过引入增量结构扩展（ISE）来将SGM作为图形扩展任务。 ISE通过逐步扩展源图来构建目标图，而无需更改未修改的结构。基于ISE，我们进一步提出了一个模型，该模型在节点预测和边缘预测之间进行迭代，从而逐渐推断出更准确和和谐的扩展决策。此外，我们构建了一个具有挑战性的数据集，该数据集包含比现有数据集更复杂的查询和更大的场景图。四个基准测试的实验证明了我们的方法的有效性，该实验超过了以前的最新模型。

成功的基于机器学习的命名实体识别模型可能会因某些特殊领域的文本而失败，例如中文地址和电子商务标题，需要足够的背景知识。对于人类注释者来说，此类文本也很难。实际上，我们可以从具有一些共同实体的相关文本中获得一些潜在的有用信息，以帮助文本理解。然后，人们可以通过引用相关样本来轻松地提出正确的答案。在本文中，我们建议使用相关样品增强NER模型。我们通过大规模内域未标记的数据从稀疏的BM25检索器中绘制相关样品。为了明确模拟人类推理过程，我们执行了通过多数投票校准的无培训实体类型。为了捕获训练阶段的相关特征，我们建议通过基于变压器的多构度跨编码器对相关样品进行建模。上述两个域数据集的经验结果显示了我们方法的功效。

在本文中，我们研究了基于骨架的动作识别的问题，该问题在学习从基础阶级到新颖类的可转移表示方面构成了独特的挑战，尤其是针对细粒度的动作。现有的元学习框架通常依赖于空间维度中的身体级表示，这限制了概括以捕获细粒标签空间中细微的视觉差异。为了克服上述局限性，我们提出了一种基于单发骨架的动作识别的部分感知的原型代表。我们的方法捕获了两个独特的空间级别的骨架运动模式，一种用于所有身体关节的全球环境，称为身体水平，另一个则参与了身体部位的局部空间区域，称为零件水平。我们还设计了一种类不足的注意机制，以突出每个动作类别的重要部分。具体而言，我们开发了一个由三个模块组成的零件感知原型图网络：我们的双层建模的级联嵌入模块，一个基于注意力的零件融合模块，用于融合零件并生成零件感知的原型，以及可以执行匹配的模块。与部分意识表示的分类。我们证明了我们方法对两个基于公共骨架的动作识别数据集的有效性：NTU RGB+D 120和NW-UCLA。

对新数据库的普遍性对于旨在将人类话语解析为SQL语句的文本到SQL系统至关重要。现有作品通过利用确切的匹配方法来确定问题单词和模式项目之间的词汇匹配来实现这一目标。但是，这些方法在其他具有挑战性的场景中失败，例如，表面形式在相应的问题单词和架构项目之间有所不同的同义词替代。在本文中，我们提出了一个名为ISESL-SQL的框架，以迭代地构建问题令牌和数据库模式之间的语义增强的架构链接图。首先，我们以无监督的方式通过探测过程提取PLM的模式链接图。然后，通过深图学习方法在训练过程中进一步优化了模式链接图。同时，我们还设计了一个称为图形正则化的辅助任务，以改善模式链接图中提到的模式信息。对三个基准测试的广泛实验表明，ISESL-SQL可以始终优于基准，进一步的研究表明其普遍性和鲁棒性。

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

众所周知，深度学习方法是渴望数据的，它需要大量标记的样本。不幸的是，大量的交互式样品标记工作极大地阻碍了深度学习方法的应用，尤其是对于需要异质样本的3D建模任务。为了减轻对FA \ c {C} ADS的3D建模的数据注释的工作，本文提出了一种半监督的对抗识别策略，该策略嵌入了逆程序建模中。从纹理LOD-2（详细级别）模型开始，我们使用经典的卷积神经网络来识别来自图像补丁的类型并估算Windows的参数。然后将窗口类型和参数组装到程序语法中。一个简单的程序引擎是在现有的3D建模软件中构建的，产生了细粒的窗户几何形状。为了从一些标记的样品中获得有用的模型，我们利用生成对抗网络以半监督的方式训练特征提取器。对抗训练策略还可以利用未标记的数据，使训练阶段更加稳定。使用公开可用的FA \ c {C} ADE图像数据集的实验表明，在同一网络结构下，提出的培训策略可以提高分类精度的提高约10％，参数估计提高了50％。此外，在针对具有不同fa \ c {c} ADE样式的不同数据测试时，性能提高更为明显。

对事件序列的预测对于信息检索和自然语言处理中的许多现实世界应用至关重要。在事件序列预测中，未来的活动生成（FEG）是一项具有挑战性的任务，因为它不仅需要流利的文本生成，而且需要常识性推理才能保持整个事件故事的逻辑连贯性。在本文中，我们提出了一个新颖的可解释的FEG框架COEP。它突出并整合了两种类型的事件知识，对直接事件事件关系的顺序知识以及推论知识，这些知识反映了事件之间的中间角色心理学（例如意图，原因，反应），这些心理本质地将故事推向了故事。为了减轻知识遗忘问题，我们为每种类型的知识设计了两个模块，即IM和GM，它们是通过及时调整组合的。首先，IM专注于理解推论知识，以产生常识性解释并为通用汽车提供软提示向量。我们还设计了一种对比歧视器，以提高概括能力。其次，GM通过用IM的指导对直接顺序知识进行建模来生成未来事件。自动和人类评估表明，我们的方法可以产生更连贯，具体和逻辑的未来事件。

Equipping predicted segmentation with calibrated uncertainty is essential for safety-critical applications. In this work, we focus on capturing the data-inherent uncertainty (aka aleatoric uncertainty) in segmentation, typically when ambiguities exist in input images. Due to the high-dimensional output space and potential multiple modes in segmenting ambiguous images, it remains challenging to predict well-calibrated uncertainty for segmentation. To tackle this problem, we propose a novel mixture of stochastic experts (MoSE) model, where each expert network estimates a distinct mode of the aleatoric uncertainty and a gating network predicts the probabilities of an input image being segmented in those modes. This yields an efficient two-level uncertainty representation. To learn the model, we develop a Wasserstein-like loss that directly minimizes the distribution distance between the MoSE and ground truth annotations. The loss can easily integrate traditional segmentation quality measures and be efficiently optimized via constraint relaxation. We validate our method on the LIDC-IDRI dataset and a modified multimodal Cityscapes dataset. Results demonstrate that our method achieves the state-of-the-art or competitive performance on all metrics.

对比性语言图像预训练（剪辑）已被证明可以学习具有出色传递性的视觉表示，从而实现了零击分类的有希望的准确性。为了进一步提高其下游性能，现有作品在剪辑上提出了其他可学习的模块，并通过几次训练集对其进行微调。但是，由此产生的额外培训成本和数据要求严重阻碍了模型部署和知识转移的效率。在本文中，我们引入了一种自由午餐的增强方法CALIP，以通过无参数注意模块来提高Clip的零拍摄性能。具体而言，我们指导视觉和文本表示相互交互，并通过注意探索跨模式的信息特征。由于预训练大大降低了两种方式之间的嵌入距离，因此我们在注意力中丢弃所有可学习的参数，并在双向更新多模式特征，从而使整个过程无参数且无培训。通过这种方式，图像与文本感知信号混合在一起，文本表示形式被视觉引导以获得更好的自适应零射击对齐。我们在14个数据集的各种基准上评估CALIP，用于2D图像和3D Point Cloud几乎没有分类，显示出一致的零弹性性能改进了夹子。基于此，我们进一步在Calip的注意模块中插入了少量线性层，并在少量射击设置下验证我们的鲁棒性，与现有方法相比，这也可以实现领先的性能。这些广泛的实验证明了我们的方法在有效增强夹子方面的优势。