斑马鱼是一种出色的模型生物，已在生物实验，药物筛查和群智能领域广泛使用。近年来，有许多用于跟踪行为研究涉及斑马鱼的技术，这使其攻击许多领域的科学家的注意力。斑马鱼的多目标跟踪仍然面临许多挑战。高流动性和不确定性使得难以预测其运动；相似的外观和纹理功能使建立外观模型变得困难。由于频繁的阻塞，甚至很难将轨迹连接起来。在本文中，我们使用粒子过滤器来近似运动的不确定性。首先，通过分析斑马鱼的运动特性，我们建立了一个有效的混合运动模型来预测其位置。然后，我们根据预测位置建立一个外观模型，以预测每个目标的姿势，同时通过比较预测的姿势和观察姿势的差来称量颗粒；最后，我们通过加权位置获得了单斑马鱼的最佳位置，并使用关节颗粒过滤器来处理多个斑马鱼的轨迹链接。

本文提出并讨论了多个目标跟踪方法的实现，它能够处理目标交互，防止由于劫持而防止跟踪器失败。参考方法使用Markov链蒙特卡罗（MCMC）采样步骤来评估过滤器并构建有效的提案密度以产生新的样品。该密度基于每个时间步骤生成的Markov随机字段（MRF）集成了目标交互项。 MRFS模拟目标之间的相互作用，以减少典型粒子滤波器在跟踪多个目标时遭受的跟踪模糊性。在受限空间中包含20个相互作用蚂蚁的662灰度帧的测试序列用于测试所提出的方法和基于一个重要的自动粒子过滤器，以建立性能比较。结果表明，使用MRF建模目标交互的实现方法成功地校正了独立，交互不知道粒子过滤器的许多跟踪误差。

A track-before-detect (TBD) particle filter-based method for detection and tracking of low observable objects based on a sequence of image frames in the presence of noise and clutter is studied. At each time instance after receiving a frame of image, first, some preprocessing approaches are applied to the image. Then, it is sent to the detection and tracking algorithm which is based on a particle filter. Performance of the approach is evaluated for detection and tracking of an object in different scenarios including noise and clutter.

在执行视觉伺服或对象跟踪任务时，有效的传感器规划对于保持目标的目标是必不可少的，或者在缺失时重新定位它们。特别是，当处理从传感器的视野中缺少的已知目标时，我们建议使用与上下文信息相关的先验知识来估计其可能的位置。为此，本研究提出了一种动态贝叶斯网络，它使用上下文信息来有效地搜索目标。 Monte Carlo颗粒滤波器用于近似目标状态的后验概率，从中定义不确定性。我们通过信息理论形式主义定义机器人的实用程序函数，因为寻求最佳动作减少了任务的不确定性，提示机器人代理商调查最可能存在的目标的位置。使用上下文状态模型，我们使用部分可观察的Markov决策过程设计代理的高级决策框架。根据通过顺序观察的基础上下文的估计信仰状态，决定了机器人的导航行动进行探索性和检测任务。通过使用这种多模态上下文模型，我们的代理可以有效处理基本动态事件，例如妨碍目标或从视野中的缺失。我们实时实施并展示移动机器人的这些功能。

3D姿势估计对于分析和改善人体机器人相互作用的人体工程学和降低肌肉骨骼疾病的风险很重要。基于视觉的姿势估计方法容易出现传感器和模型误差以及遮挡，而姿势估计仅来自相互作用的机器人的轨迹，却遭受了模棱两可的解决方案。为了从两种方法的优势中受益并改善了它们的弊端，我们引入了低成本，非侵入性和遮挡刺激性多感应3D姿势估计算法中的物理人类手机相互作用。我们在单个相机上使用openpose的2D姿势，以及人类执行任务时相互作用的机器人的轨迹。我们将问题建模为部分观察的动力学系统，并通过粒子滤波器推断3D姿势。我们介绍了远程操作的工作，但可以将其推广到其他人类机器人互动的其他应用。我们表明，我们的多感官系统比仅使用机器人的轨迹仅使用openpose或姿势估计的姿势估计来更好地解决人运动冗余。与金标准运动捕获姿势相比，这将提高估计姿势的准确性。此外，当使用Rula评估工具进行姿势评估时，我们的方法也比其他单一感觉方法更好。

由于其简单性和效率，卑鄙的速度算法已被广泛用于跟踪任务。但是，传统的刻痕算法需要标记目标的初始区域，从而降低了算法的适用性。此外，它仅适用于目标区域和候选区域之间的重叠率较高的现场。因此，当目标速度快速时，目标尺度变化，形状变形或目标闭塞会发生，跟踪性能将恶化。在本文中，我们通过开发一种跟踪方法来解决上述挑战，该方法将背景模型和刻画框架下的颜色名称的分级特征结合在一起。在上述情况下，此方法可显着提高性能。此外，它促进了检测准确性和检测速度之间的平衡。实验结果证明了该方法的验证。

通常将视频中的跟踪像素作为光流估计问题进行研究，其中每个像素都用位移向量描述，该位移向量将其定位在下一帧中。即使可以免费获得更广泛的时间上下文，但要考虑到这一点的事先努力仅在2框方法上产生了少量收益。在本文中，我们重新访问Sand and Teller的“粒子视频”方法，并将像素跟踪作为远程运动估计问题，其中每个像素都用轨迹描述，该轨迹将其定位在以后的多个帧中。我们使用该组件重新构建了这种经典方法，这些组件可以驱动流量和对象跟踪中最新的最新方法，例如密集的成本图，迭代优化和学习的外观更新。我们使用从现有的光流数据中挖掘出的远程Amodal点轨迹来训练我们的模型，并通过多帧的遮挡合成增强，这些轨迹会增强。我们在轨迹估计基准和关键点标签传播任务中测试我们的方法，并与最新的光流和功能跟踪方法进行比较。

摄影平台已广泛用于摄影测量和机器人感知模块，以稳定相机姿势，从而提高捕获的视频质量。通常，阳性主要由传感器和执行器部件组成。可以将传感器的方向测量直接输入到执行器以转向适当的姿势。但是，现成的定制产品要么非常昂贵，要么取决于高度精确的IMU和带有霍尔传感器的无刷直流电动机以估计角度，这很容易在长期操作中累积漂移。在本文中，提出了一种基于简历的新跟踪和融合算法，专门针对自然界运行的无人机上的gimbal系统，主要贡献如下：部署到Jetson Nano平台上，将图像分为二进制零件（地面和天空）。 b）在3D中以3D为提示跟踪天际线和接地平面的几何原始图，以及IMU的方向估计可以为方向提供多种猜测。 c）基于球形表面的自适应颗粒采样可以有效地从上述传感器来源融合。最终的原型算法在实时嵌入式系统上进行了测试，并且在空气中进行了模拟和实际功能测试。

机器人布操作是自动机器人系统的相关挑战性问题。高度可变形的对象，因为纺织品在操纵过程中可以采用多种配置和形状。因此，机器人不仅应该了解当前的布料配置，还应能够预测布的未来行为。本文通过使用模型预测控制（MPC）策略在对象的其他部分应用动作，从而解决了间接控制纺织对象某些点的配置的问题，该策略还允许间接控制的行为点。设计的控制器找到了最佳控制信号，以实现所需的未来目标配置。本文中的探索场景考虑了通过抓住其上角，以平方布的下角跟踪参考轨迹。为此，我们提出并验证线性布模型，该模型允许实时解决与MPC相关的优化问题。增强学习（RL）技术用于学习所提出的布模型的最佳参数，并调整所得的MPC。在模拟中获得准确的跟踪结果后，在真实的机器人中实现并执行了完整的控制方案，即使在不利条件下也可以获得准确的跟踪。尽管总观察到的误差达到5 cm标记，但对于30x30 cm的布，分析表明，MPC对该值的贡献少于30％。

当前的融合定位系统主要基于过滤算法，例如卡尔曼过滤或粒子过滤。但是，实际应用方案的系统复杂性通常很高，例如行人惯性导航系统中的噪声建模或指纹匹配和定位算法中的环境噪声建模。为了解决这个问题，本文提出了一个基于深度学习的融合定位系统，并提出了一种转移学习策略，以改善具有不同分布的样本的神经网络模型的性能。结果表明，在整个地板方案中，融合网络的平均定位精度为0.506米。转移学习的实验结果表明，惯性导航定位步骤大小和不同行人的旋转角的估计精度可以平均提高53.3％，可以将不同设备的蓝牙定位精度提高33.4％，并且融合可以提高。可以提高31.6％。

3D多对象跟踪（MOT）确保在连续动态检测过程中保持一致性，有利于自动驾驶中随后的运动计划和导航任务。但是，基于摄像头的方法在闭塞情况下受到影响，准确跟踪基于激光雷达的方法的对象的不规则运动可能是具有挑战性的。某些融合方法效果很好，但不认为在遮挡下出现外观特征的不可信问题。同时，错误检测问题也显着影响跟踪。因此，我们根据组合的外观运动优化（Camo-Mot）提出了一种新颖的相机融合3D MOT框架，该框架使用相机和激光镜数据，并大大减少了由遮挡和错误检测引起的跟踪故障。对于遮挡问题，我们是第一个提出遮挡头来有效地选择最佳对象外观的人，从而减少了闭塞的影响。为了减少错误检测在跟踪中的影响，我们根据置信得分设计一个运动成本矩阵，从而提高了3D空间中的定位和对象预测准确性。由于现有的多目标跟踪方法仅考虑一个类别，因此我们还建议建立多类损失，以在多类别场景中实现多目标跟踪。在Kitti和Nuscenes跟踪基准测试上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模式MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（CAR为23，行人为137）。并且我们提出的方法在Nuscenes测试数据集上以75.3％的AMOTA进行了所有算法中的最新性能。

Localization of autonomous unmanned aerial vehicles (UAVs) relies heavily on Global Navigation Satellite Systems (GNSS), which are susceptible to interference. Especially in security applications, robust localization algorithms independent of GNSS are needed to provide dependable operations of autonomous UAVs also in interfered conditions. Typical non-GNSS visual localization approaches rely on known starting pose, work only on a small-sized map, or require known flight paths before a mission starts. We consider the problem of localization with no information on initial pose or planned flight path. We propose a solution for global visual localization on a map at scale up to 100 km2, based on matching orthoprojected UAV images to satellite imagery using learned season-invariant descriptors. We show that the method is able to determine heading, latitude and longitude of the UAV at 12.6-18.7 m lateral translation error in as few as 23.2-44.4 updates from an uninformed initialization, also in situations of significant seasonal appearance difference (winter-summer) between the UAV image and the map. We evaluate the characteristics of multiple neural network architectures for generating the descriptors, and likelihood estimation methods that are able to provide fast convergence and low localization error. We also evaluate the operation of the algorithm using real UAV data and evaluate running time on a real-time embedded platform. We believe this is the first work that is able to recover the pose of an UAV at this scale and rate of convergence, while allowing significant seasonal difference between camera observations and map.

外部磁场可用于远程控制小尺寸的机器人，使其具有多样化的生物医学和工程应用的候选人。我们表明，我们的磁动毫罗罗布特是高度敏捷的，并且可以执行各种机车任务，例如枢轴行走和在水平面翻滚。在这里，我们专注于控制枢轴行走模式中该毫无米罗罗布特的运动效果。开发了系统的数学模型，派生了运动模型。还研究了机器人运动中扫描和倾斜角度的作用。我们提出了两个控制器来调节枢轴步行者的步态。第一个是比例几何控制器，它决定了Millobot应该使用的正确枢轴点。然后，它基于毫无槌和参考轨迹的中心之间的误差按比例地调节角速度。第二控制器基于梯度下降优化技术，其表示控制动作作为优化问题。这些控制算法使得MilliRobot能够在跟踪所需的轨迹时产生稳定的步态。我们进行一组不同的实验和模拟运行，以确定所提出的控制器在跟踪误差方面的不同扫描和倾斜角度的有效性。这两个控制器表现出适当的性能，但观察到基于梯度下降基于的控制器产生更快的收敛时间，更小的跟踪误差和更少的步数。最后，我们对扫描角度，倾斜角度和步进时间对跟踪误差的影响进行了广泛的实验参数分析。正如我们所预期的那样，基于优化的控制器优于基于几何的控制器。

管道机器人是有前途的条件评估，泄漏检测，水质监测在管道网络中各种其他任务中的解决方案。由于对操作的高度不确定和令人不安的环境，智能导航是这些机器人的极其具有挑战性的任务。无线通信在操作期间控制这些机器人是不可行的，如果管材是金属，因为无线电信号在管道环境中被破坏，因此，这种挑战仍未解决。在本文中，我们介绍了一种基于粒子滤波和两相运动控制器的先前设计的管道机器人[1]的智能导航方法。机器人被赋予具有新方法的操作路径的地图，并且粒子过滤确定管道的直线和非直线配置。在直线路径中，机器人遵循线性二次调节器（LQR）和比例 - 积分衍生物（PID）基于基于的控制器，其稳定机器人并跟踪所需的速度。在非直接路径中，机器人遵循轨迹，该轨迹是机器人的运动轨迹发生器块的计划。该方法是用于智能导航的有希望的解决方案，无需无线通信并且能够检查水分配系统中的长距离。

多对象跟踪（MOT）是计算机视觉领域的重要技术，该技术广泛用于自动驾驶，智能监控，行为识别和其他方向。在基于深度学习的当前流行MOT方法中，基于检测的跟踪（DBT）是行业中最广泛使用的，它们的性能取决于其对象检测网络。目前，性能良好，使用最广泛的DBT算法是Yolov5-Deepsort。受Yolov5-Deepsort的启发，Yolov7网络的建议在对象检测方面的性能更好，我们将Yolov7应用于DeepSort，并提出Yolov7-Deepsort。经过实验评估后，与以前的Yolov5-Deepsort相比，Yolov7-Deepsort的表现更好地跟踪准确性。

自我定位是一种基本功能，移动机器人导航系统集成到使用地图从一个点转移到另一点。因此，任何提高本地化精度的增强对于执行精致的灵活性任务至关重要。本文描述了一个新的位置，该位置使用Monte Carlo定位（MCL）算法维护几个颗粒人群，始终选择最佳的粒子作为系统的输出。作为新颖性，我们的工作包括一种多尺度匹配匹配算法，以创建新的MCL群体和一个确定最可靠的指标。它还贡献了最新的实现，从错误的估计或未知的初始位置增加了恢复时间。在与NAV2完全集成的模块中评估了所提出的方法，并与当前的最新自适应ACML溶液进行了比较，从而获得了良好的精度和恢复时间。

本文旨在解决多个对象跟踪（MOT），这是计算机视觉中的一个重要问题，但由于许多实际问题，尤其是阻塞，因此仍然具有挑战性。确实，我们提出了一种新的实时深度透视图 - 了解多个对象跟踪（DP-MOT）方法，以解决MOT中的闭塞问题。首先提出了一个简单但有效的主题深度估计（SODE），以在2D场景中自动以无监督的方式自动订购检测到的受试者的深度位置。使用SODE的输出，提出了一个新的活动伪3D KALMAN滤波器，即具有动态控制变量的Kalman滤波器的简单但有效的扩展，以动态更新对象的运动。此外，在数据关联步骤中提出了一种新的高阶关联方法，以合并检测到的对象之间的一阶和二阶关系。与标准MOT基准的最新MOT方法相比，提出的方法始终达到最先进的性能。

可靠地定量自然和人为气体释放（例如，从海底进入海洋的自然和人为气体释放（例如，Co $ _2 $，甲烷），最终是大气，是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气，但是即使从较大的距离中，精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的，即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中，我们介绍了一种完整的仪器和评估方法，用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统，可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性，然后将仪器迁移到其他位置，或者以自主间隔模式迁移到几天内，以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边，我们仔细评估了可达准确性并提出了一种新颖的校准程序，因为由于缺乏点对应，仅使用气泡的剪影。该系统已成功运营，在太平洋高达1000万水深，以评估甲烷通量。除了样品结果外，我们还会报告在开发期间汲取的故障案例和经验教训。

为了克服多个对象跟踪任务中的挑战，最近的算法将交互线索与运动和外观特征一起使用。这些算法使用图形神经网络或变压器来提取导致高计算成本的交互功能。在本文中，提出了一种基于几何特征的新型交互提示，旨在检测遮挡和重新识别计算成本低的丢失目标。此外，在大多数算法中，摄像机运动被认为可以忽略不计，这是一个强有力的假设，并不总是正确的，并且导致目标转换或目标不匹配。在本文中，提出了一种测量相机运动和删除其效果的方法，可有效地降低相机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估，并在MOT20上实现了MOT17的最先进性能和可比较的结果。该代码也可以公开使用。

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.