Logical reasoning of text is an important ability that requires understanding the information present in the text, their interconnections, and then reasoning through them to infer new conclusions. Prior works on improving the logical reasoning ability of language models require complex processing of training data (e.g., aligning symbolic knowledge to text), yielding task-specific data augmentation solutions that restrict the learning of general logical reasoning skills. In this work, we propose APOLLO, an adaptively pretrained language model that has improved logical reasoning abilities. We select a subset of Wikipedia, based on a set of logical inference keywords, for continued pretraining of a language model. We use two self-supervised loss functions: a modified masked language modeling loss where only specific parts-of-speech words, that would likely require more reasoning than basic language understanding, are masked, and a sentence-level classification loss that teaches the model to distinguish between entailment and contradiction types of sentences. The proposed training paradigm is both simple and independent of task formats. We demonstrate the effectiveness of APOLLO by comparing it with prior baselines on two logical reasoning datasets. APOLLO performs comparably on ReClor and outperforms baselines on LogiQA.

知识密集型任务，例如开放域问题答案（QA），需要访问大量的世界知识或领域知识。知识密集型任务的一种常见方法是采用检索到阅读的管道，该管道首先从诸如Wikipedia之类的外部语料库中检索少数相关的上下文文档，然后预测在检索文档的条件下得到答案。在本文中，我们提出了一种新的观点，可以通过用大型语言模型生成器代替文档检索器来解决知识密集型任务。我们称我们的方法生成-Read Read（GenRead），该方法首先提示大型语言模型根据给定问题生成上下文文档，然后读取生成的文档以产生最终答案。此外，我们提出了一种基于聚类的提示方法，该方法选择了不同的提示，从而产生了涵盖不同观点的生成文档，从而更好地回忆了可接受的答案。我们对三个不同的知识密集任务进行了广泛的实验，包括开放域质量检查，事实检查和对话系统。值得注意的是，GenRead在Triviaqa和WebQ上实现了71.6和54.4的精确匹配分数，显着超过了最先进的检索到+4.0和+3.9的最先进的dpr-fid，而无需从任何外部知识源中检索任何文档。最后，我们证明可以通过结合检索和生成来进一步提高模型性能。

Vision-Language（V + L）预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象，但它们通常会忽略事件级别的对齐及其参数结构。 ％在这项工作中，我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数（参与者）角色。为此，我们利用文本信息提取技术来获得事件结构知识，并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外，我们收集了一个大型活动的数据集（106,875张图片），用于预磨平，这提供了更具挑战性的图像检索基准，以评估对复杂冗长的句子的理解。实验表明，我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型，从而实现了事件提取中的5±绝对f得分增益，以及显着改进零拍摄设置下的各种下游任务。

我们启动了对MLP架构进行了视觉和语言（VL）融合的第一个实证研究。通过对5 VL任务和5个强大的VQA基准测试的广泛实验，我们发现：（i）没有预先训练，使用MLP进行多模式融合，与变压器相比具有明显的性能差距; （ii）但是，VL预培训可以帮助关闭性能差距; （iii）代替重大的多主头注意力，将微小的单臂注意MLPS增加足以实现对变压器的可比性。此外，我们还发现，当在更难的鲁棒VQA基准测试时，MLP和变压器之间的性能差距不会扩大，建议使用MLP融合可以大致呈现与使用变压器相似的程度。这些结果提示MLP可以有效地学会对准从较低级别的编码器中提取的视觉和文本功能，而不依赖于自我关注。基于此，我们提出了一个更大胆的问题：我们可以为VL建模提供全部MLP架构，其中VL融合和视觉编码器都用MLPS替换吗？我们的结果表明，与最先进的全功能VL模型相比，全部MLP VL模型是当它们都获得预先培训的时型vl模型。然而，预先培训ALL-MLP可能令人惊讶地实现比没有预先训练的完整变压器模型更好的平均分数。这表明VL建模的MLP样架构的大规模预培训的潜力，并激发了未来的研究方向，简化了较少的归纳设计偏差的良好的VL建模。我们的代码可公开提供：https://github.com/easonnie/mlp-vil

今天的大部分AI系统都专注于使用自我关注机制和变压器架构在大量多样化的数据中实现令人印象深刻的性能收益。在本文中，我们建议使用外部注意机制增强变压器架构，以带来外部知识和背景。通过将外部信息集成到预测过程中，我们希望减少对更大的模型的需求，并增加AI系统的民主化。我们发现所提出的外部注意机制可以显着提高现有AI系统的性能，使从业者可以轻松地将基础AI模型自定义到许多不同的下游应用程序。特别是，我们专注于勤杂朗语推理的任务，展示所提出的外部注意机制可以增加现有的变压器模型，并显着提高模型的推理能力。拟议的系统，知识外部关注推理（Kear），达到了开放的铜商QA研究基准的人类奇偶校验，其准确性为89.4 \％，与人类准确性为88.9 \％。

大规模的预训练语言模型在广泛的自然语言理解（NLU）任务中取得了巨大的成功，甚至超过人类性能。然而，最近的研究表明，这些模型的稳健性可能受到精心制作的文本对抗例子的挑战。虽然已经提出了几个单独的数据集来评估模型稳健性，但仍缺少原则和全面的基准。在本文中，我们呈现对抗性胶水（AdvGlue），这是一个新的多任务基准，以定量和彻底探索和评估各种对抗攻击下现代大规模语言模型的脆弱性。特别是，我们系统地应用14种文本对抗的攻击方法来构建一个粘合的援助，这是由人类进一步验证的可靠注释。我们的调查结果总结如下。 （i）大多数现有的对抗性攻击算法容易发生无效或暧昧的对手示例，其中大约90％的含量改变原始语义含义或误导性的人的注册人。因此，我们执行仔细的过滤过程来策划高质量的基准。 （ii）我们测试的所有语言模型和强大的培训方法在AdvGlue上表现不佳，差价远远落后于良性准确性。我们希望我们的工作能够激励开发新的对抗攻击，这些攻击更加隐身，更加统一，以及针对复杂的对抗性攻击的新强大语言模型。 Advglue在https://adversarialglue.github.io提供。

Vision-and语言（VL）预培训已被证明对各种VL下游任务非常有效。虽然最近的工作表明，基于完全变换器的VL模型可以比以前的基于区域特征的方法更有效，但它们在下游任务上的性能通常显着降低。在本文中，我们呈现仪表〜（\ textbf {m} ultimodal \ textbf {e} nd-to-text \ textbf {t} ransform \ textbf {er}），我们通过它系统地调查如何设计和预先列车基于完全变换器的VL模型以端到端的方式。具体而言，我们将模型设计沿多个尺寸分析：视觉编码器（例如，剪辑 - vit，Swin变压器），文本编码器（例如，Roberta，Deberta），多模式融合（例如，合并注意力与共同关注），架构设计（例如，仅编码器与编码器 - 解码器）和预训练目标（例如，屏蔽图像建模）。我们对广泛的VL任务进行全面实验，并提供有关如何在保持快速推理速度的同时培训表演VL变压器的见解。值得注意的是，仪表〜使用仅使用4M图像进行预培训的VQAV2 TEST-STD设置的精度为77.64 \％，超过最先进的区域特征的VINVL模型+1.04 \％，以及优于以前最好的完全变换器的ALBEF模型+1.6 \％。

大规模预培训最近彻底改变了视野和语言（VL）研究。 LXMERT和Uniter等型号在广泛的VL任务中显着提升了最新技术。然而，这些模型中的大量参数在实践中阻碍了他们的应用。并行地，彩票假设（LTH）的工作表明，深度神经网络包含小匹配子网，可以在培训时达到比致密网络达到比例或更好的性能。在这项工作中，我们执行第一个实证研究，以评估这些可训练的子网是否也存在于预先训练的VL模型中。我们使用单位作为主测试用用作镜（也测试LXMERT和VILT），并整合7个代表VL任务进行实验，包括视觉问题应答，视觉致辞推理，视觉素食，参考表达理解，图像文本检索，GQA和NLVR $ ^ 2 $。通过综合分析，我们将主要结果总结如下。 （$ i $）很难找到严格匹配完整模型性能的子网。但是，我们可以在50％-70％的稀疏度下找到“轻松”赢得票价，维持99％的完整准确性。 （$ II $）由特定任务特定的修剪转移到其他任务的子网，而在培训前任务的普遍普遍转移锻炼预先培训任务，匹配的全部准确性为98％/ 96％所有任务的平均值。 （$ III $）除了统客外，其他型号如LXMERT和VILT也可以播放彩票。然而，我们为vilt获得的最高稀疏性远低于LXMERT和Uniter（30％与70％）。 （$ IV $）LTH在使用其他培训方法时也仍然相关（例如，对抗培训）。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.