自然场景图像中的文本检测应用于自主驾驶，老年人和盲人的导航帮助。但是，通常由于缺乏数据资源而阻碍了乌尔都语文本检测的研究。我们已经开发了一个带有乌尔都语文本的场景图像数据集。我们介绍了使用机器学习方法从场景图像中执行乌尔都语文本的检测。我们使用通道增强的最大稳定极端区域（MSER）方法提取文本区域。首先，我们根据其几何特性对文本和噪声进行分类。接下来，我们使用支持向量机来尽早丢弃非文本区域。为了进一步删除非文本区域，我们使用获得的定向梯度（HOG）特征的直方图，并训练第二个SVM分类器。这改善了场景图像中文本区域检测的总体性能。为了支持有关乌尔都语文本的研究，我们旨在使数据自由地用于研究使用。我们还旨在强调乌尔都语文本检测的挑战和研究差距。

Furigana是日语写作中使用的发音笔记。能够检测到这些可以帮助提高光学特征识别（OCR）性能，或通过正确显示Furigana来制作日本书面媒体的更准确的数字副本。该项目的重点是在日本书籍和漫画中检测Furigana。尽管已经研究了日本文本的检测，但目前尚无提议检测Furigana的方法。我们构建了一个包含日本书面媒体和Furigana注释的新数据集。我们建议对此类数据的评估度量，该度量与对象检测中使用的评估协议类似，除非它允许对象组通过一个注释标记。我们提出了一种基于数学形态和连接组件分析的Furigana检测方法。我们评估数据集的检测，并比较文本提取的不同方法。我们还分别评估了不同类型的图像，例如书籍和漫画，并讨论每种图像的挑战。所提出的方法在数据集上达到76 \％的F1得分。该方法在常规书籍上表现良好，但在漫画和不规则格式的书籍上的表现较少。最后，我们证明所提出的方法可以在漫画109数据集上提高OCR的性能5 \％。源代码可通过\ texttt {\ url {https://github.com/nikolajkb/furiganadetection}}}

车牌检测和认可（LPDR）对于实现智能运输并确保城市的安全性和安全性越来越重要。但是，LPDR在实用环境中面临巨大的挑战。车牌的尺寸，字体和颜色可能非常多样化，板图像通常是由于倾斜的捕获角度，不均匀的照明，遮挡和模糊而引起的质量差。在诸如监视之类的应用中，通常需要快速处理。为了实现实时和准确的车牌识别，在这项工作中，我们提出了一组技术：1）一种轮廓重建方法以及边缘检测，以快速检测候选板； 2）一种简单的零偏置方案，可有效删除板周围的假上和底部边界，以方便更准确地对板上的字符进行分割； 3）一组技术来增强培训数据，将SIFT功能纳入CNN网络，并利用转移学习以获得更有效的培训的初始参数； 4）一个两阶段验证程序，以低成本确定正确的板，在板检测阶段进行统计过滤，以快速去除不需要的候选者，以及在CR过程后的准确CR结果，以执行进一步的板验证而无需进行其他处理。我们根据算法实现完整的LPDR系统。实验结果表明，我们的系统可以实时准确识别车牌。此外，它在各个级别的照明和噪声下以及在有汽车运动的情况下稳健地工作。与同行方案相比，我们的系统不仅属于最准确的系统，而且也是最快的系统，并且可以轻松地应用于其他情况。

In this paper we introduce a new method for text detection in natural images. The method comprises two contributions: First, a fast and scalable engine to generate synthetic images of text in clutter. This engine overlays synthetic text to existing background images in a natural way, accounting for the local 3D scene geometry. Second, we use the synthetic images to train a Fully-Convolutional Regression Network (FCRN) which efficiently performs text detection and bounding-box regression at all locations and multiple scales in an image. We discuss the relation of FCRN to the recently-introduced YOLO detector, as well as other end-toend object detection systems based on deep learning. The resulting detection network significantly out performs current methods for text detection in natural images, achieving an F-measure of 84.2% on the standard ICDAR 2013 benchmark. Furthermore, it can process 15 images per second on a GPU.

Automatic Arabic handwritten recognition is one of the recently studied problems in the field of Machine Learning. Unlike Latin languages, Arabic is a Semitic language that forms a harder challenge, especially with variability of patterns caused by factors such as writer age. Most of the studies focused on adults, with only one recent study on children. Moreover, much of the recent Machine Learning methods focused on using Convolutional Neural Networks, a powerful class of neural networks that can extract complex features from images. In this paper we propose a convolutional neural network (CNN) model that recognizes children handwriting with an accuracy of 91% on the Hijja dataset, a recent dataset built by collecting images of the Arabic characters written by children, and 97% on Arabic Handwritten Character Dataset. The results showed a good improvement over the proposed model from the Hijja dataset authors, yet it reveals a bigger challenge to solve for children Arabic handwritten character recognition. Moreover, we proposed a new approach using multi models instead of single model based on the number of strokes in a character, and merged Hijja with AHCD which reached an averaged prediction accuracy of 96%.

Text detection in natural scenes has been a significant and active research subject in computer vision and document analysis because of its wide range of applications as evidenced by the emergence of the Robust Reading Competition. One of the algorithms which has good text detection performance in the said competition is the Character Region Awareness for Text Detection (CRAFT). Employing the ICDAR 2013 dataset, this study investigates the impact of automatic image classification and blind deconvolution as image pre-processing steps to further enhance the text detection performance of CRAFT. The proposed technique automatically classifies the scene images into two categories, blurry and non-blurry, by utilizing of a Laplacian operator with 100 as threshold. Prior to applying the CRAFT algorithm, images that are categorized as blurry are further pre-processed using blind deconvolution to reduce the blur. The results revealed that the proposed method significantly enhanced the detection performance of CRAFT, as demonstrated by its IoU h-mean of 94.47% compared to the original 91.42% h-mean of CRAFT and this even outperformed the top-ranked SenseTime, whose h-mean is 93.62%.

Recently, models based on deep neural networks have dominated the fields of scene text detection and recognition. In this paper, we investigate the problem of scene text spotting, which aims at simultaneous text detection and recognition in natural images. An end-to-end trainable neural network model for scene text spotting is proposed. The proposed model, named as Mask TextSpotter, is inspired by the newly published work Mask R-CNN. Different from previous methods that also accomplish text spotting with end-to-end trainable deep neural networks, Mask TextSpotter takes advantage of simple and smooth end-to-end learning procedure, in which precise text detection and recognition are acquired via semantic segmentation. Moreover, it is superior to previous methods in handling text instances of irregular shapes, for example, curved text. Experiments on ICDAR2013, ICDAR2015 and Total-Text demonstrate that the proposed method achieves state-of-the-art results in both scene text detection and end-to-end text recognition tasks.

许多历史地图表将公开可用于需要长期历史地理数据的研究。这些地图的制图设计包括地图符号和文本标签的组合。从地图图像自动读取文本标签可以大大加快地图解释，并有助于生成描述地图内容的丰富元数据。已经提出了许多文本检测算法以自动定位地图图像中的文本区域，但大多数算法都在Off-Offain数据集（例如，景区图像）上培训。培训数据确定机器学习模型的质量，并在地图图像中手动注释文本区域是劳动力广泛且耗时的。另一方面，现有的地理数据源（例如Open-StreetMap（OSM））包含机器可读地图图层，允许我们分开文本图层并轻松获取文本标签注释。但是，OSM地图瓷砖和历史地图之间的制图样式显着不同。本文提出了一种自动生成无限量的注释历史地图图像的方法，用于训练文本检测模型。我们使用风格转移模型将当代地图图像转换为历史风格，并将文本标签放在上面。我们表明，最先进的文本检测模型（例如，PSENET）可以从合成历史地图中受益，并对历史地图文本检测进行显着改进。

视频中的自动烟熏车辆检测是用于传统昂贵的遥感遥控器，其中具有紫外线的紫外线设备，用于环境保护机构。但是，将车辆烟雾与后车辆或混乱道路的阴影和湿区域区分开来是一项挑战，并且由于注释数据有限，可能会更糟。在本文中，我们首先引入了一个现实世界中的大型烟熏车数据集，其中有75,000个带注释的烟熏车像图像，从而有助于对先进的深度学习模型进行有效的培训。为了启用公平算法比较，我们还构建了一个烟熏车视频数据集，其中包括163个带有细分级注释的长视频。此外，我们提出了一个新的粗到烟熏车辆检测（代码）框架，以进行有效的烟熏车辆检测。这些代码首先利用轻质的Yolo检测器以高召回率进行快速烟雾检测，然后采用烟极车匹配策略来消除非车辆烟雾，并最终使用精心设计的3D模型进一步完善结果，以进一步完善结果。空间时间空间。四个指标的广泛实验表明，我们的框架比基于手工的特征方法和最新的高级方法要优越。代码和数据集将在https://github.com/pengxj/smokyvehicle上发布。

任意形状的文本检测是一项具有挑战性的任务，这是由于大小和宽高比，任意取向或形状，不准确的注释等各种变化的任务。最近引起了大量关注。但是，文本的准确像素级注释是强大的，现有的场景文本检测数据集仅提供粗粒的边界注释。因此，始终存在大量错误分类的文本像素或背景像素，从而降低基于分割的文本检测方法的性能。一般来说，像素是否属于文本与与相邻注释边界的距离高度相关。通过此观察，在本文中，我们通过概率图提出了一种创新且可靠的基于分割的检测方法，以准确检测文本实例。为了具体，我们采用Sigmoid alpha函数（SAF）将边界及其内部像素之间的距离传输到概率图。但是，由于粗粒度文本边界注释的不确定性，一个概率图无法很好地覆盖复杂的概率分布。因此，我们采用一组由一系列Sigmoid alpha函数计算出的概率图来描述可能的概率分布。此外，我们提出了一个迭代模型，以学习预测和吸收概率图，以提供足够的信息来重建文本实例。最后，采用简单的区域生长算法来汇总概率图以完成文本实例。实验结果表明，我们的方法在几个基准的检测准确性方面实现了最先进的性能。

近年来，深入学习的蓬勃发展的开花目睹了文本认可的快速发展。但是，现有的文本识别方法主要用于英语文本，而忽略中文文本的关键作用。作为另一种广泛的语言，中文文本识别各种方式​​都有广泛的应用市场。根据我们的观察，我们将稀缺关注缺乏对缺乏合理的数据集建设标准，统一评估方法和现有基线的结果。为了填补这一差距，我们手动收集来自公开的竞争，项目和论文的中文文本数据集，然后将它们分为四类，包括场景，网络，文档和手写数据集。此外，我们在这些数据集中评估了一系列代表性的文本识别方法，具有统一的评估方法来提供实验结果。通过分析实验结果，我们令人惊讶地观察到识别英语文本的最先进的基线不能很好地表现出对中国情景的良好。由于中国文本的特征，我们认为仍然存在众多挑战，这与英文文本完全不同。代码和数据集在https://github.com/fudanvi/benchmarking-chinese-text-recognition中公开使用。

这项研究开发了一个无人驾驶系统（UASS）的框架，以监测高层建筑项目中未受保护的边缘和开口附近的跌落危险系统。开发并测试了一个三步基于机器学习的框架，以检测UAS捕获的图像的护栏柱。首先，对护栏探测器进行了培训，以定位支撑护栏的职位的候选位置。由于从实际的工作现场收集的此过程中使用了图像，因此确定了几个错误检测。因此，在以下步骤中引入了其他约束，以滤除错误检测。其次，研究团队将水平线检测器应用于图像，以正确检测地板并删除离地板不近的检测。最后，由于每个帖子之间安装了护栏柱，它们之间的分布差异大致，因此它们之间的空间被估算并用于找到两个帖子之间最有可能的距离。研究团队使用了开发方法的各种组合来监视高层建筑项目的捕获图像中的护栏系统。比较精度和召回指标表明，级联分类器通过落地检测和护栏间距估计来取得更好的性能。研究结果表明，拟议的护栏识别系统可以改善护栏的评估，并促进安全工程师确定高层建筑项目中跌落危害的任务。

This study focuses on improving the optical character recognition (OCR) data for panels in the COMICS dataset, the largest dataset containing text and images from comic books. To do this, we developed a pipeline for OCR processing and labeling of comic books and created the first text detection and recognition datasets for western comics, called "COMICS Text+: Detection" and "COMICS Text+: Recognition". We evaluated the performance of state-of-the-art text detection and recognition models on these datasets and found significant improvement in word accuracy and normalized edit distance compared to the text in COMICS. We also created a new dataset called "COMICS Text+", which contains the extracted text from the textboxes in the COMICS dataset. Using the improved text data of COMICS Text+ in the comics processing model from resulted in state-of-the-art performance on cloze-style tasks without changing the model architecture. The COMICS Text+ dataset can be a valuable resource for researchers working on tasks including text detection, recognition, and high-level processing of comics, such as narrative understanding, character relations, and story generation. All the data and inference instructions can be accessed in https://github.com/gsoykan/comics_text_plus.

本文介绍了用于文档图像分析的图像数据集的系统文献综述，重点是历史文档，例如手写手稿和早期印刷品。寻找适当的数据集进行历史文档分析是促进使用不同机器学习算法进行研究的关键先决条件。但是，由于实际数据非常多（例如，脚本，任务，日期，支持系统和劣化量），数据和标签表示的不同格式以及不同的评估过程和基准，因此找到适当的数据集是一项艰巨的任务。这项工作填补了这一空白，并在现有数据集中介绍了元研究。经过系统的选择过程（根据PRISMA指南），我们选择了56项根据不同因素选择的研究，例如出版年份，文章中实施的方法数量，所选算法的可靠性，数据集大小和期刊的可靠性出口。我们通过将其分配给三个预定义的任务之一来总结每个研究：文档分类，布局结构或语义分析。我们为每个数据集提供统计，文档类型，语言，任务，输入视觉方面和地面真实信息。此外，我们还提供了这些论文或最近竞争的基准任务和结果。我们进一步讨论了该领域的差距和挑战。我们倡导将转换工具提供到通用格式（例如，用于计算机视觉任务的可可格式），并始终提供一组评估指标，而不仅仅是一种评估指标，以使整个研究的结果可比性。

由于字体，大小，颜色和方向的各种文本变化，任意形状的场景文本检测是一项具有挑战性的任务。大多数现有基于回归的方法求助于回归文本区域的口罩或轮廓点以建模文本实例。但是，回归完整的口罩需要高训练的复杂性，并且轮廓点不足以捕获高度弯曲的文本的细节。为了解决上述限制，我们提出了一个名为TextDCT的新颖的轻巧锚文本检测框架，该框架采用离散的余弦变换（DCT）将文本掩码编码为紧凑型向量。此外，考虑到金字塔层中训练样本不平衡的数量，我们仅采用单层头来进行自上而下的预测。为了建模单层头部的多尺度文本，我们通过将缩水文本区域视为正样本，并通过融合来介绍一个新颖的积极抽样策略，并通过融合来设计特征意识模块（FAM），以实现空间意识和规模的意识丰富的上下文信息并关注更重要的功能。此外，我们提出了一种分割的非量最大抑制（S-NMS）方法，该方法可以过滤低质量的掩模回归。在四个具有挑战性的数据集上进行了广泛的实验，这表明我们的TextDCT在准确性和效率上都获得了竞争性能。具体而言，TextDCT分别以每秒17.2帧（FPS）和F-measure的F-MEASIE达到85.1，而CTW1500和Total-Text数据集的F-Measure 84.9分别为15.1 fps。

自动许可板识别系统旨在提供从视频帧中出现的车辆检测，本地化和识别车牌字符的解决方案。但是，在现实世界中部署此类系统需要在低资源环境中实时性能。在我们的论文中，我们提出了一种双级检测管线与视觉API配对，提供实时推理速度以及始终如一的准确检测和识别性能。我们使用Haar-Cascade分类器作为骨干MobileNet SSDv2检测模型顶部的过滤器。这仅通过专注于高置信度检测并使用它们来识别来减少推理时间。我们还施加了一个时间帧分离策略，以区分同一夹子中的多个车辆牌照。此外，没有公开的Bangla许可证板数据集，我们创建了一个图像数据集和野外包含许可板的视频数据集。我们在图像数据集上培训了模型，并达到了86％的AP（0.5）得分，并在视频数据集上测试了我们的管道，并观察到合理的检测和识别性能（82.7％的检测率，60.8％OCR F1得分）具有真实 - 时间处理速度（每秒27.2帧）。

The PASCAL Visual Object Classes (VOC) challenge is a benchmark in visual object category recognition and detection, providing the vision and machine learning communities with a standard dataset of images and annotation, and standard evaluation procedures. Organised annually from 2005 to present, the challenge and its associated dataset has become accepted as the benchmark for object detection.This paper describes the dataset and evaluation procedure. We review the state-of-the-art in evaluated methods for both classification and detection, analyse whether the methods are statistically different, what they are learning from the images (e.g. the object or its context), and what the methods find easy or confuse. The paper concludes with lessons learnt in the three year history of the challenge, and proposes directions for future improvement and extension.

Leveraging the advances of natural language processing, most recent scene text recognizers adopt an encoder-decoder architecture where text images are first converted to representative features and then a sequence of characters via `sequential decoding'. However, scene text images suffer from rich noises of different sources such as complex background and geometric distortions which often confuse the decoder and lead to incorrect alignment of visual features at noisy decoding time steps. This paper presents I2C2W, a novel scene text recognition technique that is tolerant to geometric and photometric degradation by decomposing scene text recognition into two inter-connected tasks. The first task focuses on image-to-character (I2C) mapping which detects a set of character candidates from images based on different alignments of visual features in an non-sequential way. The second task tackles character-to-word (C2W) mapping which recognizes scene text by decoding words from the detected character candidates. The direct learning from character semantics (instead of noisy image features) corrects falsely detected character candidates effectively which improves the final text recognition accuracy greatly. Extensive experiments over nine public datasets show that the proposed I2C2W outperforms the state-of-the-art by large margins for challenging scene text datasets with various curvature and perspective distortions. It also achieves very competitive recognition performance over multiple normal scene text datasets.

在过去十年中，深度学习的开花目睹了现场文本识别的快速发展。然而，识别低分辨率场景文本图像仍然是一个挑战。尽管已经提出了一些超分辨率的方法来解决这个问题，但它们通常将文本图像视为一般图像，同时忽略了中风的视觉质量（文本原子单位）的事实扮演文本识别的重要作用。根据Gestalt心理学，人类能够将部分细节构成为先前知识所指导的最相似的物体。同样，当人类观察低分辨率文本图像时，它们将本质上使用部分笔划级细节来恢复整体字符的外观。灵感来自Gestalt心理学，我们提出了一个中风感知的场景文本图像超分辨率方法，其中包含带有冲程的模块（SFM），专注于文本图像中的字符的行程级内部结构。具体而言，我们尝试设计用于在笔划级别分解英语字符和数字的规则，然后预先列车文本识别器以提供笔划级注意映射作为位置线索，目的是控制所生成的超分辨率图像之间的一致性和高分辨率的地面真相。广泛的实验结果验证了所提出的方法确实可以在Textoom和手动构建中文字符数据集DegraDed-IC13上生成更可区分的图像。此外，由于所提出的SFM仅用于在训练时提供笔划级别指导，因此在测试阶段不会带来任何时间开销。代码可在https://github.com/fudanvi/fudanocr/tree/main/text -GETALT中获得。

人类堕落是非常关键的健康问题之一，尤其是对于长老和残疾人而言。在全球范围内，老年人口的数量正在稳步增加。因此，人类的跌倒发现已成为为这些人辅助生活的有效技术。为了辅助生活，大量使用了深度学习和计算机视觉。在这篇评论文章中，我们讨论了基于深度学习（DL）的最先进的非侵入性（基于视觉的）秋季检测技术。我们还提出了有关秋季检测基准数据集的调查。为了清楚理解，我们简要讨论用于评估秋季检测系统性能的不同指标。本文还为基于视觉的人类跌落检测技术提供了未来的指导。