尽管Sylvester方程在各种图形挖掘应用程序（例如半监督标签学习和网络对齐）上取得了成功，但仍存在一些限制。Sylvester方程无法建模非线性关系以及对不同任务进行调整的僵化性限制了其绩效。在本文中，我们提出了一个端到端的神经框架Symgnn，该框架由多网络神经聚合模块和先前的多网络协会结合学习模块组成。提出的框架继承了Sylvester方程的关键思想，同时将其推广以克服上述局限性。对现实世界数据集的经验评估表明，Symgnn总体的实例超过了几何矩阵完成任务中的基准，其低级别的实例化可以将记忆消耗降低16.98％\％。
translated by 谷歌翻译
Photometric stereo recovers the surface normals of an object from multiple images with varying shading cues, i.e., modeling the relationship between surface orientation and intensity at each pixel. Photometric stereo prevails in superior per-pixel resolution and fine reconstruction details. However, it is a complicated problem because of the non-linear relationship caused by non-Lambertian surface reflectance. Recently, various deep learning methods have shown a powerful ability in the context of photometric stereo against non-Lambertian surfaces. This paper provides a comprehensive review of existing deep learning-based calibrated photometric stereo methods. We first analyze these methods from different perspectives, including input processing, supervision, and network architecture. We summarize the performance of deep learning photometric stereo models on the most widely-used benchmark data set. This demonstrates the advanced performance of deep learning-based photometric stereo methods. Finally, we give suggestions and propose future research trends based on the limitations of existing models.
translated by 谷歌翻译
Multispectral photometric stereo(MPS) aims at recovering the surface normal of a scene from a single-shot multispectral image captured under multispectral illuminations. Existing MPS methods adopt the Lambertian reflectance model to make the problem tractable, but it greatly limits their application to real-world surfaces. In this paper, we propose a deep neural network named NeuralMPS to solve the MPS problem under general non-Lambertian spectral reflectances. Specifically, we present a spectral reflectance decomposition(SRD) model to disentangle the spectral reflectance into geometric components and spectral components. With this decomposition, we show that the MPS problem for surfaces with a uniform material is equivalent to the conventional photometric stereo(CPS) with unknown light intensities. In this way, NeuralMPS reduces the difficulty of the non-Lambertian MPS problem by leveraging the well-studied non-Lambertian CPS methods. Experiments on both synthetic and real-world scenes demonstrate the effectiveness of our method.
translated by 谷歌翻译
数据驱动的预测方法可以有效，准确地将蛋白质序列转化为生物活性结构，对于科学研究和治疗发展非常有价值。使用共同进化信息确定准确的折叠格局是现代蛋白质结构预测方法的成功基础。作为最新的状态，AlphaFold2显着提高了准确性，而无需进行明确的共同进化分析。然而，其性能仍然显示出对可用序列同源物的强烈依赖。我们研究了这种依赖性的原因，并提出了一种元生成模型Evogen，以弥补较差的MSA靶标的Alphafold2的表现不佳。 Evogen使我们能够通过降低搜索的MSA或生成虚拟MSA来操纵折叠景观，并帮助Alphafold2在低数据表方面准确地折叠，甚至通过单序预测来实现令人鼓舞的性能。能够用很少的MSA做出准确的预测，不仅可以更好地概括为孤儿序列的Alphafold2，而且使其在高通量应用程序中的使用民主化。此外，Evogen与AlphaFold2结合产生了一种概率结构生成方法，该方法可以探索蛋白质序列的替代构象，并且序列生成的任务意识可区分算法将使包括蛋白质设计在内的其他相关任务受益。
translated by 谷歌翻译
未校准的光度立体声（UPS）由于未知光带来的固有歧义而具有挑战性。现有的解决方案通过将反射率明确关联到光条件或以监督方式解决光条件来减轻歧义。本文建立了光线线索和光估计之间的隐含关系，并以无监督的方式解决了UPS。关键思想是将反射率表示为四个神经内在字段，即\ ie，位置，光，镜头和阴影，基于神经光场与镜面反射和铸造阴影的光线线索隐含相关联。神经内在字段的无监督，关节优化可以不受训练数据偏差和累积误差，并完全利用所有观察到的像素值的UPS值。我们的方法在常规和具有挑战性的设置下，在公共和自我收集的数据集上获得了优于最先进的UPS方法的优势。该代码将很快发布。
translated by 谷歌翻译
联合学习（FL）提供了一个有效的范式，可以通过隐私保护训练机器学习模型。但是，最近的研究表明，由于可能是恶意和异质的当地代理商，FL受到各种安全，隐私和公平威胁的约束。例如，它容易受到仅贡献低质量数据的本地对抗药物的攻击，目的是损害具有高质量数据的人的性能。因此，这种攻击破坏了FL中公平性的现有定义，主要集中于某种绩效奇偶校验的概念。在这项工作中，我们旨在解决此限制，并通过对FL（FAA）的代理意识（FAA）提出正式的公平定义，该定义将当地代理的异质数据贡献考虑在内。此外，我们提出了基于代理聚类（焦点）的公平FL培训算法以实现FAA。从理论上讲，我们证明了线性模型的温和条件下的聚焦和最优性，并且具有有界平滑度的一般凸丢失函数。我们还证明，在线性模型和一般凸损耗函数下，与标准的FedAvg协议相比，FAA始终达到FAA衡量的更高公平性。从经验上讲，我们评估对四个数据集的重点，包括不同设置下的合成数据，图像和文本，并且我们表明，与FedAvg相比，基于FAA的焦点基于FAA的公平性显着更高，同时保持相似甚至更高的预测准确性。
translated by 谷歌翻译
本文提出了一种接近光的光度立体声方法，该方法忠实地保留了3D重建中的尖锐深度边缘。与以前依靠有限分化来近似深度部分衍生物和表面正常的方法不同，我们在近光照度立体声中引入了一个分析上可区分的神经表面，以避免在尖锐的深度边缘下的分化误差，其中深度表示为表示深度的神经误差。图像坐标。通过进一步将兰伯特式反映物作为由表面正常和深度产生的因变量，我们的方法不准确地深度初始化。在合成场景和现实世界场景上进行的实验证明了我们方法在边缘保存中详细形状恢复的有效性。
translated by 谷歌翻译
蛋白质是人类生命的重要组成部分，其结构对于功能和机制分析很重要。最近的工作表明了AI驱动方法对蛋白质结构预测的潜力。但是，新模型的开发受到数据集和基准测试培训程序的限制。据我们所知，现有的开源数据集远不足以满足现代蛋白质序列相关研究的需求。为了解决这个问题，我们介绍了具有高覆盖率和多样性的第一个百万级蛋白质结构预测数据集，称为PSP。该数据集由570K真实结构序列（10TB）和745K互补蒸馏序列（15TB）组成。此外，我们还提供了该数据集上SOTA蛋白结构预测模型的基准测试训练程序。我们通过参与客串比赛验证该数据集的实用程序进行培训，我们的模特赢得了第一名。我们希望我们的PSP数据集以及培训基准能够为AI驱动的蛋白质相关研究提供更广泛的AI/生物学研究人员社区。
translated by 谷歌翻译
最近的研究表明，预训练的语言模型（LMS）容易受到文本对抗性攻击的影响。但是，现有的攻击方法要么遭受低攻击成功率，要么无法在指数级的扰动空间中有效搜索。我们提出了一个有效有效的框架Semattack，以通过构建不同的语义扰动函数来生成自然的对抗文本。特别是，Semattack优化了对通用语义空间约束的生成的扰动，包括错字空间，知识空间（例如WordNet），上下文化的语义空间（例如，BERT群集的嵌入空间）或这些空间的组合。因此，生成的对抗文本在语义上更接近原始输入。广泛的实验表明，最新的（SOTA）大规模LMS（例如Deberta-V2）和国防策略（例如Freelb）仍然容易受到Semattack的影响。我们进一步证明，Semattack是一般的，并且能够为具有较高攻击成功率的不同语言（例如英语和中文）生成自然的对抗文本。人类评估还证实，我们产生的对抗文本是自然的，几乎不会影响人类的表现。我们的代码可在https://github.com/ai-secure/semattack上公开获取。
translated by 谷歌翻译
在有限的数据分布漂移下证明模型性能的鲁棒性最近引起了分布鲁棒性的保护。但是，现有技术要么对可以认证的模型类别和损失功能做出了强有力的假设，例如通过Lipschitz的梯度连续性表达的平滑度，要么需要解决复杂的优化问题。结果，这些技术的更广泛应用当前受其可伸缩性和灵活性的限制 - 这些技术通常不会扩展到具有现代深神经网络的大规模数据集，或者无法处理可能不太平滑的损失功能，例如0-1损失。在本文中，我们着重于证明黑框模型和有限损失功能的分配鲁棒性的问题，并根据Hellinger距离提出了一个新颖的认证框架。我们的认证技术缩放到Imagenet规模的数据集，复杂的模型以及各种损失功能。然后，我们专注于通过这种可伸缩性和灵活性启用的一个特定应用程序，即，对大型神经网络和损失功能（例如准确性和AUC）的跨域概括进行认证。我们在许多数据集上实验验证了我们的认证方法，从Imagenet（从Imagenet）提供了第一个非易变认证的偏置概括到较小的分类任务，我们能够与最先进的任务进行比较艺术并表明我们的方法的性能要好得多。
translated by 谷歌翻译