用 CenterNet 对旋转目标进行检测

技术讨论 Neptune_ ⋅ 于 1个月前 ⋅ 123 阅读

作者丨不是大叔@知乎
来源丨https://zhuanlan.zhihu.com/p/163696749

代码:

https://github.com/ZeroE04/R-CenterNet​github.com

2020.0820代码已更新

鉴于一些同学想知道模型训练完毕,怎么对比性能,比如旋转框怎么计算mIOU等,所以更新一个evaluation.py以及对应的案例图片和文件夹imgs。注意,这个.py和imgs文件夹不是必须的,只是模型训练结束计算性能用的。


前言

  1. 前段时间纯粹为了论文凑字数做的一个工作,本文不对CenterNet原理进行详细解读,如果你对CenterNet原理不了解,建议简单读一下原论文然后对照本文代码理解(对原版CenterNet目标检测代码进行了极大程度精简)。
  2. 基本想法就是直接修改CenterNet的head部分,但是是直接在长宽图上加一层通道表示角度,还是多引出一 路feature-map呢?实测是多引出一张feature map比较好,直接在长宽图上加一层通道很难收敛,具体原因我也是猜测,角度和尺度特征基本无共享特征,且会相互干扰(角度发生些许变化,目标的长宽可能就变了,如果角度是错的,长宽本来是对的呢?反之亦然)引出的feature-map只经历了一层卷积层就开始计算loss,对于这种复杂的关系表征能力不够,可能造成弄巧成拙。网络结构如下:

代码

代码主要分为五个部分:

  • train.py:模型的训练
  • predict.py:模型的前向推理
  • backbone:模型的主干网,给了DLA和ResNet的DCN与普通版本,层数可以自定义
  • loss.py:模型的损失函数
  • dataset.py:模型的数据处理
  1. 原版CenterNet代码较多,我只需要做目标检测,所以把各种3D检测等都删了,模型架构也拆了只保留了有用部分,方便自己阅读以及魔改。
  2. 其次,因为只是加了一个角度检测,所以主要是修改了一下数据处理部分,用的还是VOC格式,只是在.josn文件里面加了一个角度信息,打标签的时候用[0,Π]表示,后续在loss内添加了角度的feature-map损失,用的Smooth-L1 loss,如果你不知道怎么打标签以及处理标签文件,可以在评论区留言或者私信我。
  3. 后处理部分把画标准检测框换成了旋转框,计算旋转IOU指标等代码后续会传上去。

数据处理

画旋转框,修改主干网与损失函数,代码里面都有。

关于下面这些操作是我写过的,如果有需要可以留言:

  • 如何对旋转目标打标签?
  • 如何将角度信息添加到VOC格式标签?
  • 如何计算旋转IOU指标?
  • 其它

Demo


已更新github相关代码:

1、有人说缺少vis模块,其实这一块是我自己写的可视化,其实是不需要的,所以直接注释掉所有相关代码就行(现在github已经删除)

2、有人询问旋转打标签工具,其实有很多,这里推荐:

chinakook/labelImg2​github.com图标

如果你想要训练自己的数据,这个工具会把每张图片都生成一张.xml文件,你需要把每个.xml转化为.josn文件,然后把所有图片的.json文件合成一个.json文件,就是此网络训练格式文件了,也是CenterNet原版训练数据,然后每个图片里面的目标五个数值:

分别为目标中心点(x,y),以及宽度,长度,角度,角度是以12点钟为0°,顺时针旋转的角度,最大为179.99999°(旋转180°,相当于没转)

注:

如果你不知道怎么把.xml文件转换成.json文件,以及合并.json文件,可以留言。

微信公众号:极市平台(ID: extrememart )
每天推送最新CV干货~

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!