Split学习（SL）通过允许客户在不共享原始数据的情况下协作培训深度学习模型来实现数据隐私保护。但是，SL仍然有限制，例如潜在的数据隐私泄漏和客户端的高计算。在这项研究中，我们建议将SL局部层进行二线以进行更快的计算（在移动设备上的培训和推理阶段的前进时间少17.5倍）和减少内存使用情况（最多减少32倍的内存和带宽要求） 。更重要的是，二进制的SL（B-SL）模型可以减少SL污染数据中的隐私泄漏，而模型精度的降解仅小。为了进一步增强隐私保护，我们还提出了两种新颖的方法：1）培训额外的局部泄漏损失，2）应用差异隐私，可以单独或同时集成到B-SL模型中。与多种基准模型相比，使用不同数据集的实验结果肯定了B-SL模型的优势。还说明了B-SL模型针对功能空间劫持攻击（FSHA）的有效性。我们的结果表明，B-SL模型对于具有高隐私保护要求（例如移动医疗保健应用程序）的轻巧的物联网/移动应用程序很有希望。

Online Class Incremental learning (CIL) is a challenging setting in Continual Learning (CL), wherein data of new tasks arrive in incoming streams and online learning models need to handle incoming data streams without revisiting previous ones. Existing works used a single centroid adapted with incoming data streams to characterize a class. This approach possibly exposes limitations when the incoming data stream of a class is naturally multimodal. To address this issue, in this work, we first propose an online mixture model learning approach based on nice properties of the mature optimal transport theory (OT-MM). Specifically, the centroids and covariance matrices of the mixture model are adapted incrementally according to incoming data streams. The advantages are two-fold: (i) we can characterize more accurately complex data streams and (ii) by using centroids for each class produced by OT-MM, we can estimate the similarity of an unseen example to each class more reasonably when doing inference. Moreover, to combat the catastrophic forgetting in the CIL scenario, we further propose Dynamic Preservation. Particularly, after performing the dynamic preservation technique across data streams, the latent representations of the classes in the old and new tasks become more condensed themselves and more separate from each other. Together with a contraction feature extractor, this technique facilitates the model in mitigating the catastrophic forgetting. The experimental results on real-world datasets show that our proposed method can significantly outperform the current state-of-the-art baselines.

Graph neural networks (GNNs) are susceptible to privacy inference attacks (PIAs), given their ability to learn joint representation from features and edges among nodes in graph data. To prevent privacy leakages in GNNs, we propose a novel heterogeneous randomized response (HeteroRR) mechanism to protect nodes' features and edges against PIAs under differential privacy (DP) guarantees without an undue cost of data and model utility in training GNNs. Our idea is to balance the importance and sensitivity of nodes' features and edges in redistributing the privacy budgets since some features and edges are more sensitive or important to the model utility than others. As a result, we derive significantly better randomization probabilities and tighter error bounds at both levels of nodes' features and edges departing from existing approaches, thus enabling us to maintain high data utility for training GNNs. An extensive theoretical and empirical analysis using benchmark datasets shows that HeteroRR significantly outperforms various baselines in terms of model utility under rigorous privacy protection for both nodes' features and edges. That enables us to defend PIAs in DP-preserving GNNs effectively.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

在光场压缩中，基于图的编码功能强大，可以利用沿着不规则形状的信号冗余并获得良好的能量压实。然而，除了高度复杂性到处理高维图外，它们的图形构造方法对观点之间的差异信息的准确性非常敏感。在计算机软件生成的现实世界光场或合成光场中，由于渐晕效果和两种类型的光场视图之间的视图之间的巨大差异，将视差信息用于超射线投影可能会遭受不准确性。本文介绍了两种新型投影方案，导致差异信息的错误较小，其中一个投影方案还可以显着降低编码器和解码器的时间计算。实验结果表明，与原始投影方案和基于HEVC或基于JPEG PLENO的编码方法相比，使用这些建议可以大大增强超级像素的投影质量，以及率延伸性能。

从非规范目标分布中抽样是概率推断中许多应用的基本问题。 Stein变异梯度下降（SVGD）已被证明是一种强大的方法，它迭代地更新一组粒子以近似关注的分布。此外，在分析其渐近性特性时，SVGD会准确地减少到单目标优化问题，并可以看作是此单目标优化问题的概率版本。然后出现一个自然的问题：“我们可以得出多目标优化的概率版本吗？”。为了回答这个问题，我们提出了随机多重目标采样梯度下降（MT-SGD），从而使我们能够从多个非差异目标分布中采样。具体而言，我们的MT-SGD进行了中间分布的流动，逐渐取向多个目标分布，这使采样颗粒可以移动到目标分布的关节高样区域。有趣的是，渐近分析表明，正如预期的那样，我们的方法准确地减少了多级下降算法以进行多目标优化。最后，我们进行全面的实验，以证明我们进行多任务学习方法的优点。

本文旨在研究入侵攻击，然后为区块链网络开发新的网络攻击检测框架。具体来说，我们首先在实验室设计和实施区块链网络。该区块链网络将实现两个目的，即为我们的学习模型生成真实的流量数据（包括正常数据和攻击数据），并实施实时实验，以评估我们建议的入侵检测框架的性能。据我们所知，这是第一个在区块链网络中用于网络攻击的实验室中合成的数据集。然后，我们提出了一个新颖的协作学习模型，该模型允许区块链网络中的有效部署来检测攻击。提出的学习模型的主要思想是使区块链节点能够积极收集数据，从其数据中分享知识，然后与网络中的其他区块链节点交换知识。这样，我们不仅可以利用网络中所有节点的知识，而且还不需要收集所有原始数据进行培训，以便在常规的集中学习解决方案等集中式节点上进行培训。这样的框架还可以避免暴露本地数据的隐私以及过多的网络开销/拥堵的风险。密集模拟和实时实验都清楚地表明，我们提出的基于协作的入侵检测框架可以在检测攻击方面达到高达97.7％的准确性。

联邦学习（FL）最近成为网络攻击检测系统的有效方法，尤其是在互联网上（物联网）网络。通过在IOT网关中分配学习过程，FL可以提高学习效率，降低通信开销并增强网络内人检测系统的隐私。在这种系统中实施FL的挑战包括不同物联网中的数据特征的标记数据和不可用的不可用。在本文中，我们提出了一种新的协作学习框架，利用转移学习（TL）来克服这些挑战。特别是，我们开发一种新颖的协作学习方法，使目标网络能够有效地和快速学习来自拥有丰富标记数据的源网络的知识。重要的是，最先进的研究要求网络的参与数据集具有相同的特征，从而限制了入侵检测系统的效率，灵活性以及可扩展性。但是，我们所提出的框架可以通过在各种深度学习模型中交换学习知识来解决这些问题，即使他们的数据集具有不同的功能。关于最近的真实网络安全数据集的广泛实验表明，与基于最先进的深度学习方法相比，拟议的框架可以提高超过40％。

基于流量的生成模型最近已成为模拟数据生成的最有效方法之一。实际上，它们是由一系列可逆和可触觉转换构建的。Glow首先使用可逆$ 1 \ times 1 $卷积引入了一种简单的生成流。但是，与标准卷积相比，$ 1 \ times 1 $卷积的灵活性有限。在本文中，我们提出了一种新颖的可逆$ n \ times n $卷积方法，该方法克服了可逆$ 1 \ times 1 $卷积的局限性。此外，我们所提出的网络不仅可以处理和可逆，而且比标准卷积使用的参数少。CIFAR-10，ImageNet和Celeb-HQ数据集的实验表明，我们可逆的$ N \ times n $卷积有助于显着提高生成模型的性能。