预测行人运动对于人类行为分析以及安全有效的人类代理相互作用至关重要。但是，尽管取得了重大进展，但对于捕捉人类导航决策的不确定性和多模式的现有方法仍然具有挑战性。在本文中，我们提出了SocialVae，这是一种新颖的人类轨迹预测方法。社会节的核心是一种时间上的变性自动编码器体系结构，它利用随机反复的神经网络进行预测，结合社会注意力机制和向后的后近似值，以更好地提取行人导航策略。我们表明，社交活动改善了几个步行轨迹预测基准的最新性能，包括ETH/UCY基准，Stanford Drone DataSet和Sportvu NBA运动数据集。代码可在以下网址获得：https：//github.com/xupei0610/socialvae。

随着跨领域的机器人在共享环境中开始与人类合作，使他们能够推理人类意图的算法对于实现安全的相互作用很重要。在我们的工作中，我们通过预测动态环境中的轨迹的问题来研究人类的意图。我们探索导航准则相对严格定义但在其物理环境中没有明确标记的域。我们假设在这些领域内，代理人倾向于表现出短期运动模式，这些模式揭示了与代理人的一般方向，中间目标和运动规则相关的上下文信息，例如社会行为。从这种直觉中，我们提出了社交模式，这是一种复发，多模式轨迹预测的算法，该预测利用运动模式来编码上述上下文。我们的方法通过学习预测短期运动模式来指导长期的轨迹预测。然后，它从模式中提取次目标信息，并将其汇总为社会环境。我们评估了跨三个领域的方法：人类人群，体育中的人类和码头领空中的载人飞机，以实现最先进的表现。

轨迹预测已在许多领域广泛追求，并且已经探索了许多基于模型和模型的方法。前者包括基于规则的，几何或基于优化的模型，后者主要由深度学习方法组成。在本文中，我们提出了一种基于新的神经微分方程模型的新方法，结合了两种方法。我们的新模型（神经社会物理或NSP）是一个深层神经网络，我们在其中使用具有可学习参数的显式物理模型。显式物理模型在建模行人行为时是强大的感应偏见，而网络的其余部分就系统参数估计和动力学随机性建模提供了强大的数据拟合能力。我们将NSP与6个数据集上的15种深度学习方法进行了比较，并将最新性能提高了5.56％-70％。此外，我们表明NSP在预测截然不同的情况下的合理轨迹方面具有更好的概括性，其中密度的密度是测试数据的2-5倍。最后，我们表明NSP中的物理模型可以为行人行为提供合理的解释，而不是黑盒深度学习。可用代码：https：//github.com/realcrane/human-trajectory-prediction-via-noral-social-physics。

作为自主驱动系统的核心技术，行人轨迹预测可以显着提高主动车辆安全性的功能，减少道路交通损伤。在交通场景中，当遇到迎面而来的人时，行人可能会立即转动或停止，这通常会导致复杂的轨迹。为了预测这种不可预测的轨迹，我们可以深入了解行人之间的互动。在本文中，我们提出了一种名为Spatial Interaction Transformer（SIT）的新型生成方法，其通过注意机制学习行人轨迹的时空相关性。此外，我们介绍了条件变形Autiachoder（CVAE）框架来模拟未来行人的潜在行动状态。特别是，基于大规模的TRAFC数据集NUSCENES [2]的实验显示，坐下的性能优于最先进的（SOTA）方法。对挑战性的Eth和UCY数据集的实验评估概述了我们提出的模型的稳健性

We introduce a Deep Stochastic IOC 1 RNN Encoderdecoder framework, DESIRE, for the task of future predictions of multiple interacting agents in dynamic scenes. DESIRE effectively predicts future locations of objects in multiple scenes by 1) accounting for the multi-modal nature of the future prediction (i.e., given the same context, future may vary), 2) foreseeing the potential future outcomes and make a strategic prediction based on that, and 3) reasoning not only from the past motion history, but also from the scene context as well as the interactions among the agents. DESIRE achieves these in a single end-to-end trainable neural network model, while being computationally efficient. The model first obtains a diverse set of hypothetical future prediction samples employing a conditional variational autoencoder, which are ranked and refined by the following RNN scoring-regression module. Samples are scored by accounting for accumulated future rewards, which enables better long-term strategic decisions similar to IOC frameworks. An RNN scene context fusion module jointly captures past motion histories, the semantic scene context and interactions among multiple agents. A feedback mechanism iterates over the ranking and refinement to further boost the prediction accuracy. We evaluate our model on two publicly available datasets: KITTI and Stanford Drone Dataset. Our experiments show that the proposed model significantly improves the prediction accuracy compared to other baseline methods.

建模多代理系统需要了解代理的相互作用。这样的系统通常很难建模，因为它们可以涉及各种类型的相互作用，以促进丰富的社会行为动态。在这里，我们介绍了一种用于准确建模多代理系统的方法。我们介绍了使用多重注意（IMMA）的相互作用建模，这是一种前向预测模型，该模型使用多重潜在图代表多种独立类型的相互作用，并注意对不同优势的关系。我们还介绍了渐进层培训，这是该体系结构的培训策略。我们表明，我们的方法在轨迹预测和关系推理中的最先进模型优于最先进的模型，涵盖了三个多代理方案：社交导航，合作任务成就和团队运动。我们进一步证明，我们的方法可以改善零拍的概括，并使我们能够探究不同的相互作用如何影响代理行为。

Reasoning about human motion is an important prerequisite to safe and socially-aware robotic navigation. As a result, multi-agent behavior prediction has become a core component of modern human-robot interactive systems, such as self-driving cars. While there exist many methods for trajectory forecasting, most do not enforce dynamic constraints and do not account for environmental information (e.g., maps). Towards this end, we present Trajectron++, a modular, graph-structured recurrent model that forecasts the trajectories of a general number of diverse agents while incorporating agent dynamics and heterogeneous data (e.g., semantic maps). Trajectron++ is designed to be tightly integrated with robotic planning and control frameworks; for example, it can produce predictions that are optionally conditioned on ego-agent motion plans. We demonstrate its performance on several challenging real-world trajectory forecasting datasets, outperforming a wide array of state-ofthe-art deterministic and generative methods.

Understanding human motion behavior is critical for autonomous moving platforms (like self-driving cars and social robots) if they are to navigate human-centric environments. This is challenging because human motion is inherently multimodal: given a history of human motion paths, there are many socially plausible ways that people could move in the future. We tackle this problem by combining tools from sequence prediction and generative adversarial networks: a recurrent sequence-to-sequence model observes motion histories and predicts future behavior, using a novel pooling mechanism to aggregate information across people. We predict socially plausible futures by training adversarially against a recurrent discriminator, and encourage diverse predictions with a novel variety loss. Through experiments on several datasets we demonstrate that our approach outperforms prior work in terms of accuracy, variety, collision avoidance, and computational complexity.

预测动态场景中的行人轨迹仍然是各种应用中的关键问题，例如自主驾驶和社会意识的机器人。由于人类和人类对象的相互作用和人类随机性引起的未来不确定性，这种预测是挑战。基于生成式模型的方法通过采样潜在变量来处理未来的不确定性。然而，很少有研究探索了潜在变量的产生。在这项工作中，我们提出了具有伪Oracle（TPPO）的轨迹预测器，这是一种基于模型的基于模型的轨迹预测因子。第一个伪甲骨文是行人的移动方向，第二个是从地面真理轨迹估计的潜在变量。社会注意力模块用于基于行人移动方向与未来轨迹之间的相关性聚集邻居的交互。这种相关性受到行人的未来轨迹往往受到前方行人的影响。提出了一种潜在的变量预测器来估计观察和地面轨迹的潜在可变分布。此外，在训练期间，这两个分布之间的间隙最小化。因此，潜在的变量预测器可以估计观察到的轨迹的潜变量，以近似从地面真理轨迹估计。我们将TPPO与在几个公共数据集上的相关方法进行比较。结果表明，TPPO优于最先进的方法，具有低平均和最终位移误差。作为测试期间的采样时间下降，消融研究表明预测性能不会显着降低。

行人轨迹预测是自动驾驶的重要技术，近年来已成为研究热点。以前的方法主要依靠行人的位置关系来模型社交互动，这显然不足以代表实际情况中的复杂病例。此外，大多数现有工作通常通常将场景交互模块作为独立分支介绍，并在轨迹生成过程中嵌入社交交互功能，而不是同时执行社交交互和场景交互，这可能破坏轨迹预测的合理性。在本文中，我们提出了一个名为社会软关注图卷积网络（SSAGCN）的一个新的预测模型，旨在同时处理行人和环境之间的行人和场景相互作用之间的社交互动。详细说明，在建模社交互动时，我们提出了一种新的\ EMPH {社会软关注功能}，其充分考虑了行人之间的各种交互因素。并且它可以基于各种情况下的不同因素来区分行人周围的人行力的影响。对于物理互动，我们提出了一个新的\ emph {顺序场景共享机制}。每个时刻在每个时刻对一个代理的影响可以通过社会柔和关注与其他邻居共享，因此场景的影响在空间和时间尺寸中都是扩展。在这些改进的帮助下，我们成功地获得了社会和身体上可接受的预测轨迹。公共可用数据集的实验证明了SSAGCN的有效性，并取得了最先进的结果。

多代理行为建模和轨迹预测对于交互式情景中的自主代理安全导航至关重要。变形AutiaceCoder（VAE）已广泛应用于多代理交互建模以产生各种行为，并学习用于交互系统的低维表示。然而，如果基于VAE的模型可以正确编码相互作用，现有文献没有正式讨论。在这项工作中，我们认为，多种子体模型中的典型VAE典型配方之一受到我们称为社会后崩倒数的问题，即，在预测代理人的未来轨迹时，该模型容易忽略历史社会环境。它可能导致显着的预测误差和较差的泛化性能。我们分析了这一探索现象背后的原因，并提出了几项解决方案的措施。之后，我们在实际数据集上实施了拟议的框架和实验，用于多代理轨迹预测。特别是，我们提出了一种新颖的稀疏图表关注消息传递（稀疏垃圾）层，这有助于我们在我们的实验中检测到社会后塌崩溃。在实验中，我们确认确实发生了社会后塌崩溃。此外，拟议的措施有助于减轻这个问题。结果，当历史社会上下文是信息性的预测信息时，该模型达到了更好的泛化性能。

在人群情景中，根据许多外部因素，预测行人的轨迹是一个复杂和具有挑战性的任务。场景的拓扑和行人之间的相互作用只是其中一些。由于数据 - 科学和数据收集技术的进步，深入学习方法最近成为众多域中的研究热点。因此，越来越多的研究人员对预测行人的轨迹应用这些方法并不令人惊讶。本文将这些相对较新的深度学习算法与基于经典知识的模型进行了比较，这些算法被广泛用于模拟行人动态。它为两种方法提供了全面的文献综述，探索了技术和应用面向差异，并解决了未来的问题以及未来的发展方向。我们的调查指出，由于深度学习算法的高准确性，现在，基于知识的模型来预测局部轨迹的内容是可疑的。然而，深度学习算法用于大规模模拟的能力和集体动态的描述仍有待证明。此外，比较表明，两种方法（混合方法）的组合似乎很有希望克服像深度学习方法的缺失解释性等缺点。

在智能系统（例如自动驾驶和机器人导航）中，轨迹预测一直是一个长期存在的问题。最近在大规模基准测试的最新模型一直在迅速推动性能的极限，主要集中于提高预测准确性。但是，这些模型对效率的强调较少，这对于实时应用至关重要。本文提出了一个名为Gatraj的基于注意力的图形模型，其预测速度要高得多。代理的时空动力学，例如行人或车辆，是通过注意机制建模的。代理之间的相互作用是通过图卷积网络建模的。我们还实施了拉普拉斯混合物解码器，以减轻模式崩溃，并为每个代理生成多种模式预测。我们的模型以在多个开放数据集上测试的更高预测速度与最先进的模型相同的性能。

揭开多个代理之间的相互作用与过去的轨迹之间的相互作用至关重要。但是，以前的作品主要考虑与有限的关系推理的静态，成对的相互作用。为了促进更全面的互动建模和关系推理，我们提出了Dyngroupnet，这是一个动态群体感知的网络，i）可以在高度动态的场景中建模时间变化的交互； ii）捕获配对和小组互动； iii）理由互动强度和类别没有直接监督。基于Dyngroupnet，我们进一步设计了一个预测系统，以预测具有动态关系推理的社会合理轨迹。提出的预测系统利用高斯混合模型，多个抽样和预测细化，分别促进预测多样性，训练稳定性和轨迹平滑度。广泛的实验表明：1）dyngroupnet可以捕获随时间变化的群体行为，在轨迹预测过程中推断时间变化的交互类别和相互作用强度，而无需在物理模拟数据集上进行任何关系监督； 2）dyngroupnet优于最先进的轨迹预测方法，其显着改善22.6％/28.0％，26.9％/34.9％，5.1％/13.0％的ADE/FDE在NBA，NFL足球和SDD Datasets上的ADE/FDE并在ETH-COY数据集上实现最先进的性能。

Pedestrians follow different trajectories to avoid obstacles and accommodate fellow pedestrians. Any autonomous vehicle navigating such a scene should be able to foresee the future positions of pedestrians and accordingly adjust its path to avoid collisions. This problem of trajectory prediction can be viewed as a sequence generation task, where we are interested in predicting the future trajectory of people based on their past positions. Following the recent success of Recurrent Neural Network (RNN) models for sequence prediction tasks, we propose an LSTM model which can learn general human movement and predict their future trajectories. This is in contrast to traditional approaches which use hand-crafted functions such as Social forces. We demonstrate the performance of our method on several public datasets. Our model outperforms state-of-the-art methods on some of these datasets . We also analyze the trajectories predicted by our model to demonstrate the motion behaviour learned by our model.

安全可靠的自主驾驶堆栈（AD）的设计是我们时代最具挑战性的任务之一。预计这些广告将在具有完全自主权的高度动态环境中驱动，并且比人类更大的可靠性。从这个意义上讲，要高效，安全地浏览任意复杂的流量情景，广告必须具有预测周围参与者的未来轨迹的能力。当前的最新模型通常基于复发，图形和卷积网络，在车辆预测的背景下取得了明显的结果。在本文中，我们探讨了在生成模型进行运动预测中注意力的影响，考虑到物理和社会环境以计算最合理的轨迹。我们首先使用LSTM网络对过去的轨迹进行编码，该网络是计算社会背景的多头自我发言模块的输入。另一方面，我们制定了一个加权插值来计算最后一个观测框中的速度和方向，以便计算可接受的目标点，从HDMAP信息的可驱动的HDMAP信息中提取，这代表了我们的物理环境。最后，我们的发电机的输入是从多元正态分布采样的白噪声矢量，而社会和物理环境则是其条件，以预测可行的轨迹。我们使用Argoverse运动预测基准1.1验证我们的方法，从而实现竞争性的单峰结果。

变量自动编码器（VAE）已广泛用于建模数据分布，因为它在理论上优雅，易于训练并且具有不错的多种形式表示。但是，当应用于图像重建和合成任务时，VAE显示了生成样品往往模糊的局限性。我们观察到一个类似的问题，其中生成的轨迹位于相邻的车道之间，通常是在基于VAE的轨迹预测模型中出现的。为了减轻此问题，我们将层次潜在结构引入基于VAE的预测模型。基于以下假设，即可以将轨迹分布近似为简单分布（或模式）的混合物，因此使用低级潜在变量来对混合物的每种模式进行建模，并采用了高级潜在变量来表示权重代表权重对于模式。为了准确地对每个模式进行建模，我们使用以新颖方式计算的两个车道级别上下文向量来调节低级潜在变量，一种对应于车道相互作用，另一个对应于车辆车辆的相互作用。上下文向量还用于通过建议的模式选择网络对权重进行建模。为了评估我们的预测模型，我们使用两个大型现实世界数据集。实验结果表明，我们的模型不仅能够生成清晰的多模式轨迹分布，而且还可以优于最新模型（SOTA）模型。我们的代码可在https://github.com/d1024choi/hlstrajforecast上找到。

轨迹预测旨在预测代理商可能的未来位置，考虑到他们的观察以及视频背景。这是许多自主平台所要求的，如跟踪，检测，机器人导航，自动驾驶汽车和许多其他电脑视觉应用。无论是代理人的内部人格因素，与社区的互动行为，还是周围环境的影响，所有这些都可能代表对代理商的未来计划的影响。然而，许多以前的方法模型和预测具有相同策略或“单曲”特征分布的代理商的行为，使其具有挑战性地给出足够的风格差异的预测。该稿件提出了利用风格假设和程式化预测的两个子网的多种式网络（MSN），以共同地以新颖的分类方式提供代理多种准式预测。我们使用代理人的终点计划及其交互上下文作为行为分类的基础，以便通过网络中的一系列样式通道自适应地学习多种不同的行为样式。然后，我们假设目标代理将根据这些分类样式中的每一个规划他们未来的行为，从而利用不同的风格频道，以便并行地提供具有重要风格差异的一系列预测。实验表明，所提出的MSN在两个广泛使用的数据集上以最新的最先进的方法优于10 \％-20 \％，并且定性地提出了更好的多样式特性。

Autonomous navigation in crowded spaces poses a challenge for mobile robots due to the highly dynamic, partially observable environment. Occlusions are highly prevalent in such settings due to a limited sensor field of view and obstructing human agents. Previous work has shown that observed interactive behaviors of human agents can be used to estimate potential obstacles despite occlusions. We propose integrating such social inference techniques into the planning pipeline. We use a variational autoencoder with a specially designed loss function to learn representations that are meaningful for occlusion inference. This work adopts a deep reinforcement learning approach to incorporate the learned representation for occlusion-aware planning. In simulation, our occlusion-aware policy achieves comparable collision avoidance performance to fully observable navigation by estimating agents in occluded spaces. We demonstrate successful policy transfer from simulation to the real-world Turtlebot 2i. To the best of our knowledge, this work is the first to use social occlusion inference for crowd navigation.

了解代理之间的复杂社交互动是轨迹预测的关键挑战。大多数现有方法考虑成对交通代理或在局域之间的相互作用，而相互作用的性质是无限的，涉及同时不确定的代理和非局部区域。此外，它们对不同类别的代理商来说，它们同样对待异质的交通代理，同时忽视人们在IFFerent类别的交通代理中的多种反应模式。为了解决这些问题，我们提出了一个简单但有效的无限邻域交互网络（UNIN），其预测多个类别中异构代理的轨迹。具体地，所提出的无限邻域交互模块同时产生相互作用涉及的所有代理的融合特征，其适用于任何数量的代理和任何范围的交互区域。同时，提出了一个分层图注意模块，以获取类别到类别的交互和代理到代理交互。最后，估计高斯混合模型的参数用于产生未来轨迹。基准数据集的广泛实验结果表明，通过最先进的方法对我们的方法进行了显着改进。