HyperParameter优化是机器学习中的一种无处不在的挑战，训练型模型的性能在其有效选择时依赖于大致依赖。虽然为此目的存在丰富的工具，但目前在差分隐私（DP）的约束下，目前没有实际的超参数选择方法。我们研究鉴于差异私立机器学习的诚实的封锁，其中，在整体隐私预算中占了超代调优的过程。为此，我们）显示标准的组合工具在许多设置中优于更高级的技术，ii）经验和理论上展示了学习率和剪辑规范率HyperParameters，III之间的内在联系，表明DPADAM等自适应优化器享有显着的优势在诚实的HyperParameter调整过程中，IV）借鉴了DP设置中ADAM的新颖限制行为，以设计新的更高效的优化器。

Transfer learning from large language models (LLMs) has emerged as a powerful technique to enable knowledge-based fine-tuning for a number of tasks, adaptation of models for different domains and even languages. However, it remains an open question, if and when transfer learning will work, i.e. leading to positive or negative transfer. In this paper, we analyze the knowledge transfer across three natural language processing (NLP) tasks - text classification, sentimental analysis, and sentence similarity, using three LLMs - BERT, RoBERTa, and XLNet - and analyzing their performance, by fine-tuning on target datasets for domain and cross-lingual adaptation tasks, with and without an intermediate task training on a larger dataset. Our experiments showed that fine-tuning without an intermediate task training can lead to a better performance for most tasks, while more generalized tasks might necessitate a preceding intermediate task training step. We hope that this work will act as a guide on transfer learning to NLP practitioners.

选举演讲在交流候选人的愿景和使命中起着不可或缺的作用。从崇高的承诺到泥泞，选举候选人都对所有人说明了。但是，关于选民究竟赢得了什么胜利，仍然存在一个公开的问题。在这项工作中，我们使用最先进的自然语言处理方法来研究共和党候选人唐纳德·特朗普（Donald Trump）和民主党候选人乔·拜登（Joe Biden）的讲话和情感，他们争夺2020年美国总统大选。比较美国的种族二分法，我们分析了导致不同候选人的胜利和失败的原因。我们认为，这项工作将为选举竞选策略提供信息，并为与各种人群进行沟通提供基础。

本文解决了使用异质多机器人系统进行合作目标跟踪的问题，该系统在该系统上通过动态通信网络进行通信，而异质性则是在机器人中安装的不同类型的传感器和预测算法方面。该问题被投入到分布式学习框架中，在该框架中，机器人被认为是通过动态通信网络连接的“代理”。他们的预测算法被认为是“专家”，对目标轨迹的看法预测。在本文中，提出了一种新颖的分散分布式专家辅助学习（D2EAL）算法，提出了通过使每个机器人通过其信息共享来改善目标轨迹的外观预测，并运行加权信息，从而改善了整体跟踪性能。融合过程结合了基于预测损失度量的在线学习权重。对D2EAL进行了理论分析，该分析涉及对累积预测损失的最坏情况界限的分析以及权重分析。仿真研究表明，在涉及专家预测中涉及大动态偏见或漂移的不利场景中，D2EAL优于众所周知的基于协方差的估计/预测融合方法，无论是在预测性能和可伸缩性方面。

现代机器人需要准确的预测才能在现实世界中做出最佳决策。例如，自动驾驶汽车需要对其他代理商的未来行动进行准确的预测来计划安全轨迹。当前方法在很大程度上依赖历史时间序列来准确预测未来。但是，完全依靠观察到的历史是有问题的，因为它可能被噪声损坏，有离群值或不能完全代表所有可能的结果。为了解决这个问题，我们提出了一个新的框架，用于生成用于机器人控制的强大预测。为了建模影响未来预测的现实世界因素，我们介绍了对手的概念，对敌人观察到了历史时间序列，以增加机器人的最终控制成本。具体而言，我们将这种交互作用建模为机器人的预报器和这个假设对手之间的零和两人游戏。我们证明，我们建议的游戏可以使用基于梯度的优化技术来解决本地NASH均衡。此外，我们表明，经过我们方法训练的预报员在分布外现实世界中的变化数据上的效果要比基线比基线更好30.14％。

在语义细分中，将高级上下文信息与低级详细信息集成至关重要。为此，大多数现有的分割模型都采用双线性启动采样和卷积来具有不同尺度的地图，然后以相同的分辨率对齐。但是，双线性启动采样模糊了这些特征地图和卷积中所学到的精确信息，这会产生额外的计算成本。为了解决这些问题，我们提出了隐式特征对齐函数（IFA）。我们的方法的灵感来自隐式神经表示的快速扩展的主题，在该主题中，基于坐标的神经网络用于指定信号字段。在IFA中，特征向量被视为表示2D信息字段。给定查询坐标，附近的具有相对坐标的特征向量是从多级特征图中获取的，然后馈入MLP以生成相应的输出。因此，IFA隐含地将特征图在不同级别对齐，并能够在任意分辨率中产生分割图。我们证明了IFA在多个数据集上的功效，包括CityScapes，Pascal环境和ADE20K。我们的方法可以与各种体系结构的改进结合使用，并在共同基准上实现最新的计算准确性权衡。代码将在https://github.com/hzhupku/ifa上提供。

尽管诸如HRNET之类的语义细分的最新架构表现出了令人印象深刻的准确性，但其出色的设计选择引起的复杂性阻碍了一系列模型加速工具，并且进一步利用了对当前硬件效率低下的操作。本文表明，具有类似于重新连接的主链和一个小的多尺度的简单编码器架构，比复杂的语义分割体系结构（例如HRNET，fovenet和ddrnets）表现出PAR或更好。由于这些骨干的有效接收场小得多，因此天真地将设计用于图像分类的深层骨架用于语义分割的任务会导致低于PAR的结果。在HRNET，DDRNET和FANET等作品中提出的各种设计选择中，隐含的是具有较大有效接收场的网络。自然要问一个简单的编码器架构是否会比较如果没有较大的有效接受场的骨架，尽管不使用效率低下的操作（例如扩张的卷积）。我们表明，通过对重新结构进行较小且廉价的修改，可以为语义分割创建非常简单和竞争的基线。我们为台式机和移动目标提供了如此简单的体系结构的家庭，它们匹配或超过CityScapes数据集中复杂模型的性能。我们希望我们的工作为从业者提供了简单而有效的基线，以开发有效的语义细分模型。

Today's robots often interface with data-driven perception and planning models with classical model-predictive controllers (MPC). Often, such learned perception/planning models produce erroneous waypoint predictions on out-of-distribution (OoD) or even adversarial visual inputs, which increase control costs. However, today's methods to train robust perception models are largely task-agnostic - they augment a dataset using random image transformations or adversarial examples targeted at the vision model in isolation. As such, they often introduce pixel perturbations that are ultimately benign for control. In contrast to prior work that synthesizes adversarial examples for single-step vision tasks, our key contribution is to synthesize adversarial scenarios tailored to multi-step, model-based control. To do so, we use differentiable MPC methods to calculate the sensitivity of a model-based controller to errors in state estimation. We show that re-training vision models on these adversarial datasets improves control performance on OoD test scenarios by up to 36.2% compared to standard task-agnostic data augmentation. We demonstrate our method on examples of robotic navigation, manipulation in RoboSuite, and control of an autonomous air vehicle.

作为自我监督的代表学习中的一个精美工具，近年来对比学习越来越关注。从本质上讲，对比学习旨在利用用于代表学习的正面和负样本对，这与利用特征空间中的邻居信息涉及利用邻居信息。通过调查对比学习和邻里分量分析（NCA）之间的联系，我们提供了一种对比学习的新型随机最近邻近的观点，并随后提出了一系列优于现有的对比损失。在我们拟议的框架下，我们展示了一种新的方法来设计集成的对比损失，可以同时实现下游任务的良好准确性和鲁棒性。凭借综合框架，我们对标准准确性的高达6 \％改进，提高了对普通准确性的17％。

本文在资源受限边缘设备中阐明了声学单音和多音分类的模型。所提出的模型是最先进的快速准确稳定的微小门控复发性神经网络。通过使用较低的参数，通过使用更高的效率和降噪算法的参数，该模型与先前的假设方法相比，该模型改善了性能度量和较低尺寸。该模型实现为声学AI模块，专注于应用声音识别，本地化和部署，如自主汽车的AI系统。此外，包括本地化技术的潜力将新的维度添加到自动车辆中存在的多色分类器，因为它未来城市城市和发展中国家的需求增加。