人纹理感知是多感官输入的加权平均值：视觉和触觉。当视觉传感机制提取全局特征时，触觉机制通过提取本地特征来补充它。文献中缺乏耦合的视觉效果数据集是研究类似于人类质地知觉的多模式融合策略的挑战。本文介绍了一个视觉数据集，可扩大现有的触觉数据集。我们提出了一种新型的深层融合体系结构，该融合体使用四种类型的融合策略融合了视觉和触觉数据：求和，串联，最大程度和注意力。我们的模型仅在触觉（SVM -92.60％）和仅视觉（FENET -50-50-85.01％）体系结构方面显示出显着的性能改进（97.22％）。在几种融合技术中，注意引导的体系结构可提高分类的精度。我们的研究表明，类似于人类纹理感知，提出的模型选择了两种方式（视觉和触觉）的加权组合，从而导致表面粗糙度分类的精度较高。它选择最大化视觉模态失败的触觉方式的重量，反之亦然。
translated by 谷歌翻译
人类的物体感知能力令人印象深刻，当试图开发具有类似机器人的解决方案时，这变得更加明显。从人类如何将视觉和触觉用于对象感知和相关任务的灵感中，本文总结了机器人应用的多模式对象感知的当前状态。它涵盖了生物学灵感，传感器技术，数据集以及用于对象识别和掌握的感觉数据处理的各个方面。首先，概述了多模式对象感知的生物学基础。然后讨论了传感技术和数据收集策略。接下来，介绍了主要计算方面的介绍，突出显示了每个主要应用领域的一些代表性文章，包括对象识别，传输学习以及对象操纵和掌握。最后，在每个领域的当前进步中，本文概述了有希望的新研究指示。
translated by 谷歌翻译
从废物电气和电子设备（WEEE）中有效拆卸和回收材料是将全球供应链从碳密集型，采矿材料转移到可回收和可再生的材料的关键步骤。常规的回收过程依赖于切碎和分类废物流，但是对于由许多不同材料组成的Weee，我们探索了针对许多物体的靶向拆卸，以改善材料恢复。许多WEEE对象都共享许多关键特征，因此看起来非常相似，但是它们的材料组成和内部组件布局可能会有所不同，因此，对于随后的拆卸步骤，为准确的材料分离和恢复而具有准确的分类器至关重要。这项工作介绍了RGB-X（一种多模式图像分类方法），该方法利用了来自外部RGB图像的关键特征，并从X射线图像中生成的图像来准确地对电子对象进行分类。更具体地说，这项工作开发了迭代类激活映射（ICAM），这是一种新型的网络体系结构，明确地侧重于用于准确的电子对象分类所需的多模式特征映射中的细节。为了培训分类器，由于费用和需要专家指导，电子对象缺乏大型且注释良好的X射线数据集。为了克服这个问题，我们提出了一种新的方法，可以使用应用于X射线域的域随机化创建合成数据集。合并的RGB-X方法使我们在10代现代智能手机上的准确度为98.6％，其单独的精度为89.1％（RGB）和97.9％（X射线）。我们提供实验结果3来证实我们的结果。
translated by 谷歌翻译
识别对象和场景是两个具有挑战性的，但在图像理解中是必不可少的任务。特别是，使用RGB-D传感器在处理这些任务中，已成为更好的视觉理解的重要焦点领域。同时，深度神经网络，特别是卷积神经网络（CNNS），已经普遍存在，通过替换具有有效深度特征的手工制作的特征来应用于许多视觉任务。但是，它是一个公开问题如何有效地利用多层CNN模型的深度特征。在本文中，我们提出了一种新的两阶段框架，从多模态RGB-D图像中提取用于对象和场景识别任务的判别特征表示。在第一阶段，预先训练的CNN模型已被用作骨干，以在多个级别提取视觉特征。第二阶段将这些特征映射到高电平表示，具有有效的递归神经网络（RNNS）的完全随机结构。为了应对CNN激活的高维度，通过在RNNS中扩展随机性的想法来提出一种随机加权池方案。通过基于RGB和深度流分别的单个识别信徒（即SVM分数）来计算权重来执行多模态融合。这在最终的RGB-D分类性能中产生了一致的类标签估计。广泛的实验验证了RNN阶段的完全随机结构编码CNN激活以成功辨别鉴别的固体功能。比较实验结果对华盛顿RGB-D对象和Sun RGB-D场景数据集的比较实验结果表明，与物体和场景识别任务中的最先进的方法相比，该方法达到了优越的或映射性能。代码可在https://github.com/acaglayan/cnn_randrnn获得。
translated by 谷歌翻译
人类通常以多语级方式感知世界，即视力，触摸，声音被利用从各种尺寸来了解周围环境。这些感官组合在一起以实现协同效应，其中学习比单独使用每个意义更有效。对于机器人，视觉和触摸是灵巧操纵的两个关键感觉。视觉通常为我们提供形状，颜色和触摸等明显的特征，提供诸如摩擦，纹理等的局部信息，这是由于视觉和触觉感官之间的互补性，我们希望将视觉和触摸相结合，以获得协同感应感和操纵。已经研究了许多研究关于多式化感知，例如跨模型学习，3D重建，具有视觉和触摸的多模式转换。具体地，我们提出了一种用于在视觉和触摸之间转换的跨模型感官数据生成框架，其能够产生现实的伪数据。通过使用这种跨模型翻译方法，我们可以帮助我们构成无法访问的数据，帮助我们从不同视图中了解对象的属性。最近，注意机制在视觉感知或触觉感知中成为一种流行的方法。我们提出了一种用于触觉纹理识别的时空关注模型，其考虑了空间特征和时间维度。我们所提出的方法不仅关注每个空间特征中的突出特征，而且还要在迄今为止的时间内模拟时间相关性。显而易见的改善证明了我们的选择性关注机制的效率。时空注意力方法在许多应用中具有诸如抓握，识别和多式联卡的许多应用。
translated by 谷歌翻译
在过去的十年中，基于深度学习的算法在遥感图像分析的不同领域中广泛流行。最近，最初在自然语言处理中引入的基于变形金刚的体系结构遍布计算机视觉领域，在该字段中，自我发挥的机制已被用作替代流行的卷积操作员来捕获长期依赖性。受到计算机视觉的最新进展的启发，遥感社区还见证了对各种任务的视觉变压器的探索。尽管许多调查都集中在计算机视觉中的变压器上，但据我们所知，我们是第一个对基于遥感中变压器的最新进展进行系统评价的人。我们的调查涵盖了60多种基于变形金刚的60多种方法，用于遥感子方面的不同遥感问题：非常高分辨率（VHR），高光谱（HSI）和合成孔径雷达（SAR）图像。我们通过讨论遥感中变压器的不同挑战和开放问题来结束调查。此外，我们打算在遥感论文中频繁更新和维护最新的变压器，及其各自的代码：https：//github.com/virobo-15/transformer-in-in-remote-sensing
translated by 谷歌翻译
多模态数据在遥感（RS）中变得容易获得，并且可以提供有关地球表面的互补信息。因此，多模态信息的有效融合对于卢比的各种应用是重要的，而且由于域差异，噪音和冗余，也是非常具有挑战性的。缺乏有效和可扩展的融合技术，用于遍布多种模式编码器和完全利用互补信息。为此，我们提出了一种基于新型金字塔注意融合（PAF）模块和门控融合单元（GFU）的多模态遥感数据的新型多模态网络（Multimodnet）。 PAF模块旨在有效地从每个模态中获得丰富的细粒度上下文表示，具有内置的交叉级别和巧克力关注融合机制，GFU模块利用了新颖的门控机制，用于早期合并特征，从而降低隐藏的冗余和噪音。这使得可以有效地提取补充方式来提取最迟到的特征融合的最有价值和互补的信息。两个代表性RS基准数据集的广泛实验证明了多模态土地覆盖分类的多模型的有效性，鲁棒性和优越性。
translated by 谷歌翻译
大多数现有的RGB-D突出物体检测方法利用卷积操作并构建复杂的交织融合结构来实现跨模型信息集成。卷积操作的固有局部连接将基于卷积的方法的性能进行了限制到天花板的性能。在这项工作中，我们从全球信息对齐和转换的角度重新思考此任务。具体地，所提出的方法（Transcmd）级联几个跨模型集成单元来构造基于自上而下的变换器的信息传播路径（TIPP）。 Transcmd将多尺度和多模态特征集成作为序列到序列上下文传播和内置于变压器上的更新过程。此外，考虑到二次复杂性W.R.T.输入令牌的数量，我们设计了具有可接受的计算成本的修补程序令牌重新嵌入策略（Ptre）。七个RGB-D SOD基准数据集上的实验结果表明，在配备TIPP时，简单的两流编码器 - 解码器框架可以超越最先进的基于CNN的方法。
translated by 谷歌翻译
视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。
translated by 谷歌翻译
我们提出了一种新的四管齐下的方法，在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架，彼此之叠，以提高消防员在紧急首次响应设置中进行的救援任务的安全性，效率和成功完成。首先，我们使用深度卷积神经网络（CNN）系统，以实时地分类和识别来自热图像的感兴趣对象。接下来，我们将此CNN框架扩展了对象检测，跟踪，分割与掩码RCNN框架，以及具有多模级自然语言处理（NLP）框架的场景描述。第三，我们建立了一个深入的Q学习的代理，免受压力引起的迷失方向和焦虑，能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后，我们使用了一种低计算无监督的学习技术，称为张量分解，在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构，我们建立了人工智能系统的骨干，用于消防员的情境意识。要将设计的系统带入消防员的使用，我们设计了一种物理结构，其中处理后的结果被用作创建增强现实的投入，这是一个能够建议他们所在地的消防员和周围的关键特征，这对救援操作至关重要在手头，以及路径规划功能，充当虚拟指南，以帮助迷彩的第一个响应者恢复安全。当组合时，这四种方法呈现了一种新颖的信息理解，转移和综合方法，这可能会大大提高消防员响应和功效，并降低寿命损失。
translated by 谷歌翻译
多光谱图像对可以提供组合信息，使物体检测应用在开放世界中更可靠且坚固。为了充分利用不同的方式，我们在本文中介绍了一个简单但有效的跨模型特征融合方法，名为跨模型融合变压器（CFT）。与基于CNNS的基于CNNS的作品不同，由变压器方案引导，我们的网络学习远程依赖性，并在特征提取阶段中集成全球上下文信息。更重要的是，通过利用变压器的自我注意，网络可以自然地执行同时帧内模态和模态融合，并强大地捕获RGB和热域之间的潜在相互作用，从而显着提高了多光谱物体检测的性能。在多个数据集上进行广泛的实验和消融研究表明我们的方法是有效的，实现最先进的检测性能。我们的代码和型号将在https://github.com/docf/multispectral-object-detection发布。
translated by 谷歌翻译
触摸感在使人类能够理解和与周围环境互动方面发挥着关键作用。对于机器人，触觉感应也是不可替代的。在与物体交互时，触觉传感器为机器人提供了理解物体的有用信息，例如分布式压力，温度，振动和纹理。在机器人抓住期间，视力通常由其最终效应器封闭，而触觉感应可以测量视觉无法访问的区域。在过去的几十年中，已经为机器人开发了许多触觉传感器，并用于不同的机器人任务。在本章中，我们专注于使用触觉对机器人抓握的触觉，并研究近期对物质性质的触觉趋势。我们首先讨论了术语，即形状，姿势和材料特性对三个重要的物体特性的触觉感知。然后，我们通过触觉感应审查抓握稳定性预测的最新发展。在这些作品中，我们确定了在机器人抓握中协调视觉和触觉感应的要求。为了证明使用触觉传感来提高视觉感知，介绍了我们最近的抗议重建触觉触觉感知的发展。在所提出的框架中，首先利用相机视觉的大型接收领域以便快速搜索含有裂缝的候选区域，然后使用高分辨率光学触觉传感器来检查这些候选区域并重建精制的裂缝形状。实验表明，我们所提出的方法可以实现0.82mm至0.24mm的平均距离误差的显着降低，以便重建。最后，我们在讨论了对机器人任务中施加触觉感应的公开问题和未来方向的讨论。
translated by 谷歌翻译
机器人从能够根据其材料属性进行对象进行分类或操纵对象而受益。这种能力可通过适当的抓握姿势和力选择来确保对复杂物体进行精细操纵。先前的工作集中在触觉或视觉处理上，以确定掌握时间的材料类型。在这项工作中，我们介绍了一种新型的平行机器人抓地力设计，以及一种从握把手指内收集光谱读数和视觉图像的方法。我们训练非线性支持向量机（SVM），该机器可以通过递归估计将要抓住的物体的材料分类，并且随着从指尖到物体的距离降低的距离，置信度越来越高。为了验证硬件设计和分类方法，我们从16种真实和假水果品种（由聚苯乙烯/塑料组成）中收集样品，从而导致一个包含光谱曲线，场景图像和高分辨率纹理图像的数据集，因为对象被掌握，提起并释放。我们的建模方法证明了在32类决策问题中对对象进行分类时的准确性为96.4％。这比最先进的计算机视觉算法的状态在区分视觉上相似的材料方面提高了29.4％。与先前的工作相反，我们的递归估计模型解释了频谱信号强度的增加，并允许随着抓手接近对象做出决策。我们得出的结论是，光谱法是使机器人不仅能够对握住的对象进行分类，还可以理解其潜在的材料组成。
translated by 谷歌翻译
医生经常基于患者的图像扫描，例如磁共振成像（MRI），以及患者的电子健康记录（EHR），如年龄，性别，血压等。尽管在计算机视觉或自然语言研究领域的图像或文本分析中提出了大量的自动方法，但已经为医学图像的融合和医疗问题的EHR数据进行了更少的研究。在现有的早期或中间融合方法中，两种方式的特征串联仍然是一个主流。为了更好地利用图像和EHR数据，我们提出了一种多模态注意力模块，该模块使用EHR数据来帮助选择传统CNN的图像特征提取过程期间的重要区域。此外，我们建议将多头Machnib纳入门控多媒体单元（GMU），使其能够在不同子空间中平行熔断图像和EHR特征。在两个模块的帮助下，可以使用两个模态增强现有的CNN架构。预测脑内出血患者的Glasgow结果规模（GOS）和分类Alzheimer病的实验表明，该方法可以自动关注任务相关领域，并通过更好地利用图像和EHR功能来实现更好的结果。
translated by 谷歌翻译
RGB-Thermal（RGB-T）人群计数是一项具有挑战性的任务，它将热图像用作与RGB图像的互补信息，以应对低弹片或类似背景的场景中单峰基于RGB的方法的降低。大多数现有方法提出了精心设计的结构，用于RGB-T人群计数中的跨模式融合。但是，这些方法在编码RGB-T图像对中编码跨模式上下文语义信息方面存在困难。考虑到上述问题，我们提出了一个称为多发意见融合网络（MAFNET）的两流RGB-T人群计数网络，该网络旨在根据注意机制完全捕获RGB和热模式中的远距离上下文信息。具体而言，在编码器部分中，多发融合（MAF）模块嵌入到全球级别的两个特定于模态分支的不同阶段中。此外，引入了多模式多尺度聚合（MMA）回归头，以充分利用跨模态的多尺度和上下文信息，以生成高质量的人群密度图。在两个受欢迎的数据集上进行的广泛实验表明，拟议的MAFNET对RGB-T人群计数有效，并实现了最新的性能。
translated by 谷歌翻译
人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得
translated by 谷歌翻译
手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。
translated by 谷歌翻译
可靠的机器人抓握，特别是具有可变形物体（例如水果），由于与夹持器，未知的物体动态和可变物体几何形状的欠扰接触相互作用，仍然是一个具有挑战性的任务。在这项研究中，我们提出了一种用于刚性夹持器的基于变压器的机器人抓握框架，其利用触觉和可视信息来用于安全对象抓握。具体地，变压器模型通过执行两个预定义的探索动作（夹紧和滑动）来学习具有传感器反馈的物理特征嵌入，并通过多层的Perceptron（MLP）预测最终抓握结果，具有给定的抓握强度。使用这些预测，通过推断使用用于抓握任务的安全抓握强度的抓握器。与卷积复制网络相比，变压器模型可以在图像序列上捕获长期依赖性，并同时处理空间时间特征。我们首先在公共数据集上基准测试在公共数据集上进行滑动检测。在此之后，我们表明变压器模型在掌握精度和计算效率方面优于CNN + LSTM模型。我们还收集我们自己的水果掌握数据集，并使用所看到和看不见的果实的拟议框架进行在线掌握实验。我们的代码和数据集在Github上公开。
translated by 谷歌翻译
除标准摄像机外，自动驾驶汽车通常还包括多个其他传感器，例如激光雷达和雷达，这些传感器有助于获取更丰富的信息以感知驾驶场景的内容。尽管最近的几项作品着重于通过使用特定于检查设置的架构组件融合某些传感器，例如相机，镜头或相机和雷达，但文献中缺少了通用和模块化传感器融合体系结构。在这项工作中，我们专注于2D对象检测，这是在2D图像域上定义的基本高级任务，并提出了HRFUSER，这是一种多分辨率的传感器融合体系结构，可直接扩展到任意数量的输入模式。 HRFUSER的设计基于用于仅图像密集预测的最新高分辨率网络，并结合了一种新型的多窗口交叉注意区块，作为在多种分辨率下进行多种模态融合的手段。即使单独的相机为2D检测提供了非常有用的功能，我们通过对Nuscenes的广泛实验进行了证明，并通过FOG数据集查看，我们的模型有效地利用了其他模态的互补功能，从而实质上改善了相机性能，并始终如一地超过了更胜过摄影机的状态表现。在正常情况下和不利条件下，用于2D检测的ART融合方法。源代码将公开可用。
translated by 谷歌翻译
人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。
translated by 谷歌翻译