大话西游2叶子猪官网(ctpn文本检测)

自然场景的文本检测是目前深度学习的一个重要应用。在之前的文章中,已经介绍了基于深度学习的文本检测模型CTPN和SegLink(参见文章:经典模型CTPN和经典模型SegLink用于大词文本检测)。典型的文本检测模型通常分为多阶段。在训练过程中,文本检测需要被切割成多个学习阶段。这种先分割整个文本行,再进行检测,再进行合并的方法,不仅影响文本检测的准确性,而且非常耗时。文本检测任务中处理的中间过程越多,效果可能越差。那么有没有快速准确的检测模型呢?

一、EAST模型简介

本文介绍的文本检测模型EAST简化了中间流程步骤,直接实现了端到端的文本检测,优雅简洁,进一步提高了检测的准确性和速度。下图:

其中,(a)、(b)、(c)和(d)是几种常见的文本检测过程。典型的检测过程包括候选框提取、候选框过滤、边界框回归和候选框合并等。中间过程相当漫长。(e)是本文介绍的EAST模型检测过程。从上图可以看出,其过程简化为只有FCN阶段(全卷积网络)和NMS阶段(非最大值抑制),中间过程大大减少。而且输出结果支持文本行和文字的多角度检测,高效准确,能够适应各种自然应用场景。(d) CTPN模型,虽然检测过程与(e)的EAST模型类似,但只支持水平方向的文本检测,适用场景不如EAST模型。下图:

二,EAST模式的网络结构

EAST模型的网络结构如下:

EAST模型的网络结构分为三个部分:特征提取层、特征融合层和输出层。

扩展以下内容以介绍:

1.特征提取层

以PVANet(一种目标检测模型)为网络结构的主干,分别从阶段1、阶段2、阶段3和阶段4的卷积层提取特征图。卷积层的大小依次减半,但卷积核的数量依次翻倍,这是一种“特征金字塔网络”的思想。这样可以提取不同尺度的特征图来检测不同尺度的文本行(大特征图擅长检测小对象,小特征图擅长检测大对象)。这个想法与上一篇文章中介绍的SegLink模型非常相似;

2.特征融合层

根据特定规则合并先前提取的特征图。这里的合并规则采用的是U-net方法,规则如下:

从特征提取层提取的最后一层的特征图(f1)首先被发送到未冷却层,图像被放大一倍,然后与前一层的特征图(f2)连接,然后依次制作卷积核为1×1和3×3的卷积对f3和f4,重复上述过程,同时卷积核的数量逐层减少,依次为128、64和32,最后是32核和3×3卷积。

最后输出以下五部分信息,分

别是:

score map:检测框的置信度,1个参数;text boxes:检测框的位置(x, y, w, h),4个参数;text rotation angle:检测框的旋转角度,1个参数;text quadrangle coordinates:任意四边形检测框的位置坐标,(x1, y1), (x2, y2), (x3, y3), (x4, y4),8个参数。

其中,text boxes的位置坐标与text quadrangle coordinates的位置坐标看起来似乎有点重复,其实不然,这是为了解决一些扭曲变形文本行,如下图:

如果只输出text boxes的位置坐标和旋转角度(x, y, w, h,θ),那么预测出来的检测框就是上图的粉色框,与真实文本的位置存在误差。而输出层的最后再输出任意四边形的位置坐标,那么就可以更加准确地预测出检测框的位置(黄色框)。

三、EAST模型效果

EAST文本检测的效果如下图,其中,部分有仿射变换的文本行的检测效果(如广告牌)

EAST模型的优势在于简洁的检测过程,高效、准确,并能实现多角度的文本行检测。但也存在着不足之处,例如(1)在检测长文本时的效果比较差,这主要是由于网络的感受野不够大;(2)在检测曲线文本时,效果不是很理想

四、Advanced EAST

为改进EAST的长文本检测效果不佳的缺陷,有人提出了Advanced EAST,以VGG16作为网络结构的骨干,同样由特征提取层、特征合并层、输出层三部分构成。经实验,Advanced EAST比EAST的检测准确性更好,特别是在长文本上的检测。

网络结构如下:

墙裂建议

2017年,Xinyu Zhou 等人发表了关于EAST的经典论文《 EAST: An Efficient and Accurate Scene Text Detector 》,在论文中详细介绍了EAST的技术原理,建议阅读该论文以进一步了解该模型。

关注本人公众号“大数据与人工智能Lab”(BigdataAILab),然后回复“论文”关键字可在线阅读经典论文的内容。

推荐相关阅读

【AI实战】手把手教你文字识别(入门篇:验证码识别)【AI实战】快速掌握TensorFlow(一):基本操作【AI实战】快速掌握TensorFlow(二):计算图、会话【AI实战】快速掌握TensorFlow(三):激励函数【AI实战】快速掌握TensorFlow(四):损失函数【AI实战】搭建基础环境【AI实战】训练第一个模型【AI实战】编写人脸识别程序【AI实战】动手训练目标检测模型(SSD篇)【AI实战】动手训练目标检测模型(YOLO篇)【精华整理】CNN进化史大话文本识别经典模型(CRNN)大话文本检测经典模型(CTPN)大话文本检测经典模型(SegLink)大话文本检测经典模型(EAST)大话卷积神经网络(CNN)大话循环神经网络(RNN)大话深度残差网络(DRN)大话深度信念网络(DBN)大话CNN经典模型:LeNet大话CNN经典模型:AlexNet大话CNN经典模型:VGGNet大话CNN经典模型:GoogLeNet大话目标检测经典模型:RCNN、Fast RCNN、Faster RCNN大话目标检测经典模型:Mask R-CNN27种深度学习经典模型浅说“迁移学习”什么是“强化学习”AlphaGo算法原理浅析大数据究竟有多少个VApache Hadoop 2.8 完全分布式集群搭建超详细教程Apache Hive 2.1.1 安装配置超详细教程Apache HBase 1.2.6 完全分布式集群搭建超详细教程离线安装Cloudera Manager 5和CDH5(最新版5.13.0)超详细教程

参考文献:K码农-http://kmanong.top/kmn/qxw/form/home?top_cate=28

Published by

风君子

独自遨游何稽首 揭天掀地慰生平

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注