最近的一些实证研究表明，重要的机器学习任务，例如训练深神网络，表现出低级别的结构，其中损耗函数仅在输入空间的几个方向上差异很大。在本文中，我们利用这种低级结构来降低基于规范梯度的方法（例如梯度下降（GD））的高计算成本。我们提出的\ emph {低率梯度下降}（lrgd）算法找到了$ \ epsilon $ - approximate的固定点$ p $ - 维功能，首先要识别$ r \ r \ leq p $重要的方向，然后估算真实的方向每次迭代的$ p $维梯度仅通过计算$ r $方向来计算定向衍生物。我们确定强烈凸和非convex目标函数的LRGD的“定向甲骨文复杂性”是$ \ Mathcal {o}（r \ log（1/\ epsilon） + rp） + rp）$ and $ \ Mathcal {o}（R /\ epsilon^2 + rp）$。当$ r \ ll p $时，这些复杂性小于$ \ mathcal {o}的已知复杂性（p \ log（1/\ epsilon））$和$ \ mathcal {o}（p/\ epsilon^2） {\ gd}的$分别在强凸和非凸口设置中。因此，LRGD显着降低了基于梯度的方法的计算成本，以实现足够低级别的功能。在分析过程中，我们还正式定义和表征精确且近似级别函数的类别。

The estimation of cumulative distribution functions (CDFs) is an important learning task with a great variety of downstream applications, such as risk assessments in predictions and decision making. In this paper, we study functional regression of contextual CDFs where each data point is sampled from a linear combination of context dependent CDF basis functions. We propose functional ridge-regression-based estimation methods that estimate CDFs accurately everywhere. In particular, given $n$ samples with $d$ basis functions, we show estimation error upper bounds of $\widetilde{O}(\sqrt{d/n})$ for fixed design, random design, and adversarial context cases. We also derive matching information theoretic lower bounds, establishing minimax optimality for CDF functional regression. Furthermore, we remove the burn-in time in the random design setting using an alternative penalized estimator. Then, we consider agnostic settings where there is a mismatch in the data generation process. We characterize the error of the proposed estimators in terms of the mismatched error, and show that the estimators are well-behaved under model mismatch. Finally, to complete our study, we formalize infinite dimensional models where the parameter space is an infinite dimensional Hilbert space, and establish self-normalized estimation error upper bounds for this setting.

在这项工作中，我们研究了联合学习框架内的经验风险最小化（ERM），其中，中央服务器使用存储在$ M $客户端的培训数据最小化ERM目标函数。在此设置中，联合平均（Fedave）算法是用于确定$ \ epsilon $-uppations解决的钉钉。类似于标准优化算法，FEDAVE的收敛分析仅依赖于优化参数中的损耗功能的平滑度。但是，损失函数通常在训练数据中通常非常顺利。为了利用这种额外的平滑度，我们提出了联邦低级梯度下降（FEDLRGD）算法。由于数据的平滑度引起损耗函数上的近似低等级结构，因此我们的方法首先在服务器和客户端之间执行几轮通信，以便学习服务器可以用于近似客户端梯度的权重。然后，我们的方法使用不精确的渐变下降来解决服务器处的ERM问题。为了表明FedLRGD可以对Fedave具有卓越的性能，我们向Cenferated Oracle复杂性概念作为规范Oracle复杂性的对应物。在损失函数的一些假设下，例如，参数中的强凸，$ \ eta $ -h \“数据中的较旧的平滑度等，我们证明了Fedlrgd尺度的联邦Oracle复杂性，如$ \ phi m（p / \ epsilon）^ {\ theta（d / \ eta）} $和fedave尺度如$ \ phi m（p / \ epsilon）^ {3/4} $（忽略次级主导因子），其中$ \ phi \ GG 1 $是一种“通信到计算率”，$ P $ IS参数维度，$ D $是数据维度。然后，我们显示，当$ D $小而损失函数足够平滑时DATA，FEDLRGD在联合Oracle复杂性中击败了Fedave。最后，在分析FEDLRGD的过程中，我们还在潜在变量模型的低秩近似建立了结果。

由于其在生态调查的潜在适用性，青蛙的声学分类最近已经受到了很多关注。已经提出了鉴定青蛙物种的许多研究，尽管大多数记录的物种被认为是单型批量的。本研究的目的是展示使用音频记录对各种青蛙物种进行分类的方法。更确切地说，首先将连续青蛙录制切成音频片段（10秒）。然后，对于每个十秒钟记录，构造了几个时间频率表示。在此之后，而不是使用手动创建的功能，使用机器学习方法来对青蛙物种进行分类。数据减少技术;主成分分析（PCA）和独立分量分析（ICA）用于在分类之前提取最重要的功能。最后，为了验证我们的分类准确性，使用交叉验证和预测准确性。实验结果表明，PCA提取的特征，以交叉验证和预测准确性实现了更好的分类精度。