Learning problems form an important category of computational tasks that generalizes many of the computations researchers apply to large real-life data sets. We ask: what concept classes can be learned privately, namely, by an algorithm whose output does not depend too heavily on any one input or specific training example? More precisely, we investigate learning algorithms that satisfy differential privacy, a notion that provides strong confidentiality guarantees in contexts where aggregate information is released about a database containing sensitive information about individuals.Our goal is a broad understanding of the resources required for private learning in terms of samples, computation time, and interaction. We demonstrate that, ignoring computational constraints, it is possible to privately agnostically learn any concept class using a sample size approximately logarithmic in the cardinality of the concept class. Therefore, almost anything learnable is learnable privately: specifically, if a concept class is learnable by a (non-private) algorithm with polynomial sample complexity and output size, then it can be learned privately using a polynomial number of samples. We also present a computationally efficient private PAC learner for the class of parity functions. This result dispels the similarity between learning with noise and private learning (both must be robust to small changes in inputs), since parity is thought to be very hard to learn given random classification noise.Local (or randomized response) algorithms are a practical class of private algorithms that have received extensive investigation. We provide a precise characterization of local private learning algorithms. We show that a concept class is learnable by a local algorithm if and only if it is learnable in the statistical query (SQ) model. Therefore, for local private learning algorithms, the similarity to learning with noise is stronger: local learning is equivalent to SQ learning, and SQ algorithms include most known noise-tolerant learning algorithms. Finally, we present a separation between the power of interactive and noninteractive local learning algorithms. Because of the equivalence to SQ learning, this result also separates adaptive and nonadaptive SQ learning.

Independent component analysis (ICA) is a blind source separation method to recover source signals of interest from their mixtures. Most existing ICA procedures assume independent sampling. Second-order-statistics-based source separation methods have been developed based on parametric time series models for the mixtures from the autocorrelated sources. However, the second-order-statistics-based methods cannot separate the sources accurately when the sources have temporal autocorrelations with mixed spectra. To address this issue, we propose a new ICA method by estimating spectral density functions and line spectra of the source signals using cubic splines and indicator functions, respectively. The mixed spectra and the mixing matrix are estimated by maximizing the Whittle likelihood function. We illustrate the performance of the proposed method through simulation experiments and an EEG data application. The numerical results indicate that our approach outperforms existing ICA methods, including SOBI algorithms. In addition, we investigate the asymptotic behavior of the proposed method.

自动化车辆功能最佳接受和舒适性的关键因素是驾驶方式。自动化和驱动程序偏爱的驾驶方式之间的不匹配可以使用户更频繁地接管甚至禁用自动化功能。这项工作建议用多模式信号识别用户驾驶样式偏好，因此该车辆可以以连续自动的方式匹配用户偏好。我们对36名参与者进行了驾驶模拟器研究，并收集了广泛的多模式数据，包括行为，生理和情境数据。这包括眼目光，转向抓地力，驾驶演习，制动和节气门踏板输入以及距踏板的脚距离，瞳孔直径，电流皮肤反应，心率和情境驱动驱动环境。然后，我们建立了机器学习模型来识别首选的驾驶方式，并确认所有模式对于识别用户偏好都很重要。这项工作为自动车辆的隐性自适应驾驶风格铺平了道路。

联合学习（FL）旨在对多个数据所有者持有的分布式数据执行隐私的机器学习。为此，FL要求数据所有者在本地执行培训，并与中央服务器共享梯度更新（而不是私人输入），然后将其安全地汇总在多个数据所有者上。尽管汇总本身并不能证明提供隐私保护，但先前的工作表明，如果批处理大小足够大，则足够了。在本文中，我们提出了鸡尾酒会攻击（CPA），与先前的信念相反，能够从汇总的渐变中恢复私人输入，这是批量较大的大小。 CPA利用了至关重要的见解，即来自完全连接的层的总梯度是其输入的线性组合，这使我们将梯度反演作为盲源分离（BSS）问题（非正式地称为鸡尾酒会问题）。我们适应独立的组件分析（ICA） - BSS问题的经典解决方案 - 恢复针对完全连接和卷积网络的私人输入，并表明CPA明显优于先前的梯度反转攻击，对成像网的输入量表，并表现出Imagenet大小的输入的范围最高可达1024的大批量。

ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。

血管内操作中的自主机器人有可能安全可靠地浏览循环系统，同时降低对人体错误的敏感性。但是，训练机器人的过程涉及许多挑战，例如由于机器学习算法的效率低下而导致的长期培训持续时间以及导管与血管内幻影之间的相互作用引起的安全问题。物理模拟器已在血管内手术的背景下使用，但通常用于员工培训，通常不符合自主插管目标。此外，大多数当前的模拟器都是封闭消息，它阻碍了安全可靠的自主系统的协作开发。在这项工作中，我们介绍了Cathsim，Cathsim是一种开源模拟环境，可加快用于自主内血管内导航的机器学习算法的开发。我们首先使用最先进的血管内机器人模拟高保真导管和主动脉。然后，我们在模拟环境中提供了导管和主动脉之间实时力传感的能力。我们通过使用两种流行的强化学习算法，近端策略优化（PPO）和软参与者（SAC）在两个主要动脉内执行两个不同的导管插入任务来验证我们的模拟器。实验结果表明，使用我们的开源模拟器，我们可以成功训练增强型学习剂以执行不同的自主插管任务。

联合学习仅通过将本地模型更新传输到中央服务器来减轻分布式学习的隐私风险。但是，它面临着挑战，包括客户数据集的统计异质性以及客户设备的资源限制，这严重影响了培训性能和用户体验。先前的工作通过将个性化与模型压缩方案结合起来解决了这些挑战，包括量化和修剪。但是，修剪是数据依赖性的，因此必须在客户端进行，这需要相当大的计算成本。此外，修剪通常会在\ {0，1 \} $中训练二进制超级卸义$ \，这显着限制了模型容量，但没有计算益处。因此，培训需要高计算成本，并且需要很长时间才能收敛，而模型性能则没有回报。在这项工作中，我们提出了Hidenseek，该HIDENSEK在初始化时采用单次数据不合稳定的修剪来获得基于权重的突触显着性的子网。然后，每个客户端优化了\ { - 1，+1 \} $乘以未经修复的权重的标志Super-Mask $ \，以允许更快的收敛速度与最先进的压缩率相同。三个数据集的经验结果表明，与最先进的hidenseek相比，Hidenseek将推论精度提高了40.6 \％，同时将沟通成本和培训时间分别降低了39.7 \％和46.8％。

本文介绍了微型拍打翼无人机的数据驱动的最佳控制政策。首先，根据动力学的几何公式​​计算一组最佳轨迹，该动力学的几何公式​​捕获了大角度拍打运动与准稳态空气动力学之间的非线性耦合。然后，根据模仿学习的框架，它被转换为反馈控制系统。特别是，通过学习过程加入了附加的约束，以增强所得控制动力学的稳定性。与常规方法相比，所提出的约束模仿学习消除了在线生成其他最佳轨迹的需求，而无需牺牲稳定性。因此，计算效率大大提高。此外，这建立了第一个非线性控制系统，该系统稳定了旋转翼航空车辆的耦合纵向和横向动力学，而无需依赖平均或线性化。这些由数值示例说明，该示例的模拟模型受君主蝴蝶的启发。

在分析过度参数化神经网络的训练动力学方面的最新进展主要集中在广泛的网络上，因此无法充分解决深度在深度学习中的作用。在这项工作中，我们介绍了第一个无限深层但狭窄的神经网络的训练保证。我们研究具有特定初始化的多层感知器（MLP）的无限深度极限，并使用NTK理论建立了可训练性保证。然后，我们将分析扩展到无限深的卷积神经网络（CNN），并进行简短的实验。

数据增强是自然语言处理（NLP）模型的鲁棒性评估的重要组成部分，以及增强他们培训的数据的多样性。在本文中，我们呈现NL-Cogmenter，这是一种新的参与式Python的自然语言增强框架，它支持创建两个转换（对数据的修改）和过滤器（根据特定功能的数据拆分）。我们描述了框架和初始的117个变换和23个过滤器，用于各种自然语言任务。我们通过使用其几个转换来分析流行自然语言模型的鲁棒性来证明NL-Upmenter的功效。基础架构，Datacards和稳健性分析结果在NL-Augmenter存储库上公开可用（\ url {https://github.com/gem-benchmark/nl-augmenter}）。