Vedastr:基于 PyTorch 的场景文本识别工具箱

工具 Admin ⋅ 于 3周前 ⋅ 109 阅读

1. Vedastr的特性

STR(Scene Text Recognition) 的任务是识别文字框中的内容。我们在做关于STR的项目时发现,相关开源的toolbox较少,调研后发现现有的toolbox存在以下几个问题:

  1. 模块化程度较低
  2. 提供可配置接口较少
  3. 更新维护较少

基于此,我们在调研了一系列的STR相关论文的基础上,构建了一个基于pytorch的STR的toolbox——Vedastr,具有以下几个特性:

  1. 模块化
  2. 易拓展性
  3. 配置简单
  4. 较完善的日志系统
  5. 及时的更新维护

2. Vedastr的运行方式

2.1 配置文件

Vedastr提供了开放式接口,可以在config文件配置相关参数。比如,我们配置optimizer和learning rate scheduler的参数:

optimizer = dict(type='Adam', lr=0.001)
lr_scheduler = dict(type='StepLR', max_epochs=3, milestones=[100000, 200000])

2.2 Train、test和demo

  • Train
python tools/train.py config-path
  • Test
python tools/test.py config-path checkpoint-path
  • Demo
python tools/demo.py config-path checkpoint-path img-path

3. 预训练模型

3.1 使用Vedastr复现的模型性能

Vedastr目前支持基于attention、ctc、fc和transformer的str方法。我们复现了几个STR模型,你可以在Benchmark and model zoo找到他们。下面是我们的一些复现指标:

MODEL CASE SENSITIVE IIIT5k_3000 SVT IC03_867 IC13_1015 IC15_2077 SVTP CUTE80 AVERAGE
TPS-ResNet-BiLSTM-Attention False 87.33 87.79 95.04 92.61 74.45 81.09 74.91 84.95
Small-SATRN False 88.87 88.87 96.19 93.99 79.08 84.81 84.67 87.55

3.2 使用预训练模型实现一个demo

举个简单的例子:

  1. 下载 TPS-ResNet-BiLSTM-Attention
  2. 下载vedastr,按照Installation进行安装
  3. 激活conda环境,运行demo文件,识别的结果就会显示在你的终端窗口上
python tools/demo.py configs/tps-resnet-bilstm-attention TPS-ResNet-BiLSTM-Attention.pth input-img

input-img:

avatar

终端窗口:

avatar

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!