A key challenge in federated learning (FL) is the statistical heterogeneity that impairs the generalization of the global model on each client. To address this, we propose a method Federated learning with Adaptive Local Aggregation (FedALA) by capturing the desired information in the global model for client models in personalized FL. The key component of FedALA is an Adaptive Local Aggregation (ALA) module, which can adaptively aggregate the downloaded global model and local model towards the local objective on each client to initialize the local model before training in each iteration. To evaluate the effectiveness of FedALA, we conduct extensive experiments with five benchmark datasets in computer vision and natural language processing domains. FedALA outperforms eleven state-of-the-art baselines by up to 3.27% in test accuracy. Furthermore, we also apply ALA module to other federated learning methods and achieve up to 24.19% improvement in test accuracy.
translated by 谷歌翻译
跨模式时尚图像合成已成为一代域中最有前途的方向之一,因为巨大的未开发的潜力融合了多种方式和广泛的时尚图像应用。为了促进准确的生成,跨模式合成方法通常依赖于对比的语言图像预训练(剪辑)来对齐文本和服装信息。在这项工作中,我们认为,简单地对齐纹理和服装信息不足以捕获视觉信息的语义,因此提出了maskClip。 MaskClip将服装分解为语义部分,以确保视觉和文本信息之间的细粒度和语义准确对齐。在MaskClip上,我们建议Armani,这是一位统一的跨模式时装设计师,具有零件级的服装文本对齐。 Armani在第一阶段将图像分散成统一令牌,并使用变压器在第二阶段的控制信号的标记中使用变压器为真实图像的图像令牌进行建模。与同样依赖两阶段范式的先前方法相反,Armani将文本令牌引入了代码簿中,使该模型可以利用细粒语义信息来生成更真实的图像。此外,通过引入跨模式变压器,Armani具有通用性,可以从各种控制信号(例如纯文本,草图图像和部分图像)中完成图像合成。在我们新收集的跨模式时尚数据集上进行的广泛实验表明,Armani在不同的合成任务中生成了光真实的图像,并且优于现有的最先进的跨模式图像综合方法。 github.com/harvey594/armani。
translated by 谷歌翻译
最近,寻找交通状态表示的基本属性比交通信号控制(TSC)的复杂算法更为重要。跑步和排队的车辆考虑到决定是否改变当前阶段;(2)新颖的设计交通运输表示与高级MP的有效压力和有效运行的车辆,即高级交通状态(ATS);(3)通过与当前RL方法的ats组合并生成两个RL算法,“Advanced-Mplight”和“Advanced-Colight”,开发基于RL的算法模板Advanced-Xlight。多个现实世界数据集的综合实验表明:(1)高级MP优于基线方法,可为部署有效可靠;(2)先进的热门和高级雕塑可以实现新的最先进。我们的代码在github上发布。
translated by 谷歌翻译
我们将受约束的线性数据特征映射模型提出作为使用卷积神经网络(CNN)的图像分类的可解释数学模型。从这个角度来看,我们建立了线性系统的传统迭代方案与Reset-and Mgnet型模型的基本块体系结构之间的详细连接。使用这些连接,我们介绍了一些修改的Reset模型,与原始模型相比具有更少的参数,但可以产生更准确的结果,从而展示该受约束的学习数据特征映射假设的有效性。基于此假设,我们进一步提出了一般的数据特征迭代方案来展示MGNet的合理性。我们还对MGNet提供系统的数值研究,以显示其在图像分类问题中的成功和优势,并展示其与已建立的网络相比的优点。
translated by 谷歌翻译
由于传统方法无法适应动态交通条件,因此增强学习(RL)吸引了更多地关注,帮助解决交通信号控制(TSC)问题。然而,考虑到它们在计算资源方面既不具有比传统方法更具成本效益,都不会部署基于RL的方法,这提出了一个关键的研究问题:如何用较少的训练构建自适应控制器,减少TSC基于RL的方法的复杂性?为了解决这个问题,在本文中,我们(1)创新地将交通流量表示指定为交通网络中的车辆队列的简单但有效的压力,即有效的压力(EP); (2)构建流量信号设置协议,包括TSC的阶段,信号相位数和EP; (3)设计基于传统最大压力(MP)方法的TSC方法,即使用EP捕获交通状态的高效最大压力(高效-MP); (4)开发一般的基于RL的TSC算法模板:EP下有效的Xlight(效率Xlight)。通过对TSC的交通信号设置的多个实际数据集的全面实验,我们证明了与基于传统和RL的建模互补的压力,以设计更好的TSC方法。我们的代码在github上发布。
translated by 谷歌翻译
视觉和语言导航(VLN)是一个任务,代理在人类指令下的体现室内环境中导航。以前的作品忽略了样本难度的分布,我们认为这可能会降低他们的代理表现。为了解决这个问题,我们为VLN任务提出了一种基于课程的基于课程的培训范式,可以平衡人类的先验知识和特工关于培训样本的学习进度。我们开发课程设计原则,并重新安排基准房间到室(R2R)数据集,以使其适用于课程培训。实验表明,我们的方法是模型 - 不可知的,可以显着提高当前最先进的导航剂的性能,概括性和培训效率而不会增加模型复杂性。
translated by 谷歌翻译
This paper concerns with statistical estimation and inference for the ranking problems based on pairwise comparisons with additional covariate information such as the attributes of the compared items. Despite extensive studies, few prior literatures investigate this problem under the more realistic setting where covariate information exists. To tackle this issue, we propose a novel model, Covariate-Assisted Ranking Estimation (CARE) model, that extends the well-known Bradley-Terry-Luce (BTL) model, by incorporating the covariate information. Specifically, instead of assuming every compared item has a fixed latent score $\{\theta_i^*\}_{i=1}^n$, we assume the underlying scores are given by $\{\alpha_i^*+{x}_i^\top\beta^*\}_{i=1}^n$, where $\alpha_i^*$ and ${x}_i^\top\beta^*$ represent latent baseline and covariate score of the $i$-th item, respectively. We impose natural identifiability conditions and derive the $\ell_{\infty}$- and $\ell_2$-optimal rates for the maximum likelihood estimator of $\{\alpha_i^*\}_{i=1}^{n}$ and $\beta^*$ under a sparse comparison graph, using a novel `leave-one-out' technique (Chen et al., 2019) . To conduct statistical inferences, we further derive asymptotic distributions for the MLE of $\{\alpha_i^*\}_{i=1}^n$ and $\beta^*$ with minimal sample complexity. This allows us to answer the question whether some covariates have any explanation power for latent scores and to threshold some sparse parameters to improve the ranking performance. We improve the approximation method used in (Gao et al., 2021) for the BLT model and generalize it to the CARE model. Moreover, we validate our theoretical results through large-scale numerical studies and an application to the mutual fund stock holding dataset.
translated by 谷歌翻译
This paper considers ranking inference of $n$ items based on the observed data on the top choice among $M$ randomly selected items at each trial. This is a useful modification of the Plackett-Luce model for $M$-way ranking with only the top choice observed and is an extension of the celebrated Bradley-Terry-Luce model that corresponds to $M=2$. Under a uniform sampling scheme in which any $M$ distinguished items are selected for comparisons with probability $p$ and the selected $M$ items are compared $L$ times with multinomial outcomes, we establish the statistical rates of convergence for underlying $n$ preference scores using both $\ell_2$-norm and $\ell_\infty$-norm, with the minimum sampling complexity. In addition, we establish the asymptotic normality of the maximum likelihood estimator that allows us to construct confidence intervals for the underlying scores. Furthermore, we propose a novel inference framework for ranking items through a sophisticated maximum pairwise difference statistic whose distribution is estimated via a valid Gaussian multiplier bootstrap. The estimated distribution is then used to construct simultaneous confidence intervals for the differences in the preference scores and the ranks of individual items. They also enable us to address various inference questions on the ranks of these items. Extensive simulation studies lend further support to our theoretical results. A real data application illustrates the usefulness of the proposed methods convincingly.
translated by 谷歌翻译
精确分割是分析心脏周期语义信息并使用心血管信号捕获异常的至关重要的第一步。但是,在深层语义分割领域,通常会单方面与数据的个体属性相混淆。走向心血管信号,准周期性是要学习的必不可少的特征,被视为形态学属性(AM)和节奏(AR)的合成。我们的关键见解是在深度表示的生成过程中抑制对AM或AR的过度依赖性。为了解决这个问题,我们建立了一个结构性因果模型,作为分别自定义AM和AR的干预方法的基础。在本文中,我们提出了对比性因果干预(CCI),以在框架级对比框架下形成一种新颖的训练范式。干预可以消除单个属性带来的隐式统计偏见,并导致更客观的表示。我们对QRS位置和心脏声音分割的受控条件进行了全面的实验。最终结果表明,我们的方法显然可以将QRS位置的性能提高高达0.41%,心脏声音分段为2.73%。该方法的效率推广到多个数据库和嘈杂的信号。
translated by 谷歌翻译
我们研究了一个名为“战略MDP”的新型模型下的离线增强学习,该模型表征了本金和一系列与私有类型的近视药物之间的战略相互作用。由于双层结构和私人类型,战略MDP涉及主体与代理之间的信息不对称。我们专注于离线RL问题,其目标是基于由历史互动组成的预采用数据集学习委托人的最佳政策。未观察到的私人类型混淆了这样的数据集,因为它们会影响委托人收到的奖励和观察结果。我们提出了一种新颖的算法,具有算法工具(计划)的悲观政策学习,该算法利用仪器变量回归的思想和悲观主义原则在一般功能近似的背景下学习近乎最佳的原理政策。我们的算法是基于批判性观察,即主体的行为是有效的工具变量。特别是,在离线数据集中的部分覆盖范围假设下,我们证明计划输出$ 1 / \ sqrt {k} $ - 最佳策略,$ k $是收集的轨迹数量。我们进一步将框架应用于一些特殊的战略MDP案例,包括战略回归,战略强盗和推荐系统中的不合规性。
translated by 谷歌翻译