Large "instruction-tuned" language models (finetuned to respond to instructions) have demonstrated a remarkable ability to generalize zero-shot to new tasks. Nevertheless, they depend heavily on human-written instruction data that is limited in quantity, diversity, and creativity, therefore hindering the generality of the tuned model. We introduce Self-Instruct, a framework for improving the instruction-following capabilities of pretrained language models by bootstrapping off its own generations. Our pipeline generates instruction, input, and output samples from a language model, then prunes them before using them to finetune the original model. Applying our method to vanilla GPT3, we demonstrate a 33% absolute improvement over the original model on Super-NaturalInstructions, on par with the performance of InstructGPT_001, which is trained with private user data and human annotations. For further evaluation, we curate a set of expert-written instructions for novel tasks, and show through human evaluation that tuning GPT3 with Self-Instruct outperforms using existing public instruction datasets by a large margin, leaving only a 5% absolute gap behind InstructGPT_001. Self-Instruct provides an almost annotation-free method for aligning pre-trained language models with instructions, and we release our large synthetic dataset to facilitate future studies on instruction tuning.
translated by 谷歌翻译
Graph representation of objects and their relations in a scene, known as a scene graph, provides a precise and discernible interface to manipulate a scene by modifying the nodes or the edges in the graph. Although existing works have shown promising results in modifying the placement and pose of objects, scene manipulation often leads to losing some visual characteristics like the appearance or identity of objects. In this work, we propose DisPositioNet, a model that learns a disentangled representation for each object for the task of image manipulation using scene graphs in a self-supervised manner. Our framework enables the disentanglement of the variational latent embeddings as well as the feature representation in the graph. In addition to producing more realistic images due to the decomposition of features like pose and identity, our method takes advantage of the probabilistic sampling in the intermediate features to generate more diverse images in object replacement or addition tasks. The results of our experiments show that disentangling the feature representations in the latent manifold of the model outperforms the previous works qualitatively and quantitatively on two public benchmarks. Project Page: https://scenegenie.github.io/DispositioNet/
translated by 谷歌翻译
鉴于大量具有相似属性但域不同的标记数据的可用性,域的适应性是一种有吸引力的方法。在图像分类任务中,获得足够的标签数据具有挑战性。我们提出了一种名为Selda的新方法,用于通过扩展三种域适应方法来堆叠合奏学习,以有效解决现实世界中的问题。主要假设是,当将基本域适应模型组合起来时,我们可以通过利用每个基本模型的能力来获得更准确,更健壮的模型。我们扩展最大平均差异(MMD),低级别编码和相关比对(珊瑚),以计算三个基本模型中的适应损失。同样,我们利用一个两双连接的层网络作为元模型来堆叠这三个表现良好的域适应模型的输出预测,以获得眼科图像分类任务的高精度。使用与年龄相关的眼病研究(AREDS)基准眼科数据集的实验结果证明了该模型的有效性。
translated by 谷歌翻译
学习表达性分子表示对于促进分子特性的准确预测至关重要。尽管图形神经网络(GNNS)在分子表示学习中取得了显着进步,但它们通常面临诸如邻居探索,不足,过度光滑和过度阵列之类的局限性。同样,由于参数数量大,GNN通常具有较高的计算复杂性。通常,当面对相对大尺寸的图形或使用更深的GNN模型体系结构时,这种限制会出现或增加。克服这些问题的一个想法是将分子图简化为小型,丰富且有益的信息,这更有效,更具挑战性的培训GNN。为此,我们提出了一个新颖的分子图粗化框架,名为FUNQG利用函数组,作为分子的有影响力的构件来确定其性质,基于称为商图的图理论概念。通过实验,我们表明所产生的信息图比分子图小得多,因此是训练GNN的良好候选者。我们将FUNQG应用于流行的分子属性预测基准,然后比较所获得的数据集上的GNN体系结构的性能与原始数据集上的几个最先进的基线。通过实验,除了其参数数量和低计算复杂性的急剧减少之外,该方法除了其急剧减少之外,在各种数据集上的表现显着优于先前的基准。因此,FUNQG可以用作解决分子表示学习问题的简单,成本效益且可靠的方法。
translated by 谷歌翻译
最近已提出了为无监督的医学图像模型发现的成功深度学习技术。用于涂料的口罩通常独立于数据集,并且不适合在给定的解剖学类别中执行。在这项工作中,我们介绍了一种生成形状感知的面具的方法,旨在先验学习统计形状。我们假设,尽管掩模的变化改善了介入模型的普遍性,但面具的形状应遵循感兴趣的器官的拓扑结构。因此,我们提出了一种基于现成的镶嵌模型和超像素过度分段算法的无监督的指导掩蔽方法,以生成各种依赖形状依赖性掩码。腹部MR图像重建的实验结果表明,使用不规则形状掩模的方形或数据集,我们提出的掩蔽方法优于标准方法。
translated by 谷歌翻译
联邦学习(FL)是一种分布式学习方法,它为医学机构提供了在全球模型中合作的前景,同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务,但它们的差异(例如专业,患者数量和设备)导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中,我们研究了FL生产中间半全球模型的一种自适应分层聚类方法,因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集,这些集群由具有最相似数据分布的客户端组成;然后,每个集群继续分开训练。在集群中,我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法,将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明,与标准的FL方法相比,分类精度相比,异质分布的性能显着提高。此外,我们表明,如果在群集中应用,则模型会更快地收敛,并且仅使用一小部分数据,却优于集中式培训。
translated by 谷歌翻译
视网膜光学相干断层扫描(OCT)图像的自动分割已成为医疗应用机器学习的最新方向。我们假设层的解剖结构及其在OCT图像中的高频变化使视网膜OCT成为提取光谱域特征并将其与空间域特征相结合的合适选择。在这项工作中,我们提出了$ \ upsilon $ -NET,这是一种结合频域特征与图像域的体系结构,以改善OCT图像的分割性能。这项工作的结果表明,引入两个分支,一个用于光谱,一个用于空间域特征,带来了流体分割性能的显着改善,并且与知名的U-NET模型相比,允许表现优于性能。我们的进步是流体分割骰子得分的13%,平均骰子得分为1.9%。最后,删除光谱域中选定的频率范围证明了这些特征对流体分割优于表现的影响。
translated by 谷歌翻译