将异常检测外包给第三方可以允许数据所有者克服资源限制（例如，在轻量级的IoT设备中），促进协作分析（例如，分布式或多方场景下的分布式或多方场景），并受益于较低的成本和专业知识（例如托管安全服务提供商）。尽管有这样的好处，但数据所有者可能会不愿外包异常检测而没有足够的隐私保护。为此，大多数现有的隐私解决方案将面临新的挑战，即保留隐私通常需要消除或减少数据条目之间的差异，而异常检测严重取决于该差异。最近，在本地分析设置下，通过将差异隐私（DP）保证的重点从“全部”到“良性”条目移动，这一冲突是在本地分析设置下解决的。在本文中，我们观察到这种方法不直接适用于外包设置，因为数据所有者在外包之前不知道哪些条目是“良性”的，因此无法选择地将DP应用于数据条目。因此，我们提出了一种新型的迭代解决方案，使数据所有者逐渐“脱离”良性条目的异常条目，以便第三方分析师可以通过足够的DP保证产生准确的异常结果。我们设计并实施了我们对异常检测（DPOAD）框架的差异私人外包，并通过从不同应用域中的真实数据进行实验，证明了其比基线拉普拉斯和无止痛机制的好处。
translated by 谷歌翻译
深度神经网络（DNN）已显示在许多现实生活中提供极好的性能，但它们的大量计算成本和存储要求已阻止它们部署到许多边缘和内部内容（IOT）设备。稀疏的深神经网络，其大多数重量参数是零，可以大大降低模型的计算复杂性和存储器消耗。在实际使用场景中，设备可能遭受不同环境下的可用计算和存储器资源的大波动，并且由于具有大延迟的长尾延长而难以维持服务质量（QoS）。面对现实生活挑战，我们建议培训支持多个稀疏水平的稀疏模型。也就是说，满足权重的分层结构，使得较少稀疏子模型的较少稀疏子模型区域子集的位置和非零参数的位置。以这种方式，可以在推理期间动态地选择适当的稀疏度水平，而存储成本被最小稀疏子模型覆盖。我们已经在各种DNN模型和任务中验证了我们的方法，包括Reset-50，PointNet ++，GNMT和图表注意网络。我们获得稀疏的子模型，平均重量为13.38％，拖鞋14.97％，而准确性也与他们的密集对应物一样好。具有5.38％权重和4.47％的更稀疏的子模型，跨越少量稀疏的跨，只能获得3.25％的相对精度损耗。
translated by 谷歌翻译
2019-06-09
最大限度的训练原则，最大限度地减少最大的对抗性损失，也称为对抗性培训（AT），已被证明是一种提高对抗性鲁棒性的最先进的方法。尽管如此，超出了在对抗环境中尚未经过严格探索的最小最大优化。在本文中，我们展示了如何利用多个领域的最小最大优化的一般框架，以推进不同类型的对抗性攻击的设计。特别是，给定一组风险源，最小化最坏情况攻击损失可以通过引入在域集的概率单纯x上最大化的域权重来重新重整为最小最大问题。我们在三次攻击生成问题中展示了这个统一的框架 - 攻击模型集合，在多个输入下设计了通用扰动，并制作攻击对数据转换的弹性。广泛的实验表明，我们的方法导致对现有的启发式策略以及对培训的最先进的防御方法而言，鲁棒性改善，培训对多种扰动类型具有稳健。此外，我们发现，从我们的MIN-MAX框架中学到的自调整域权重可以提供整体工具来解释跨域攻击难度的攻击水平。代码可在https://github.com/wangjksjtu/minmaxsod中获得。
translated by 谷歌翻译