• 问答
  • 技术
  • 实践
  • 资源
目标检测的性能上界讨论
技术讨论

发现了最近 arxiv 上的一篇文章 Empirical Upper-bound in Object Detection and More,作者们在多个数据集上探讨了多种检测器所能达到的性能上限,颇有当年 Speed/accuracy trade-offs for modern convolutional object detectors 的风采。“目标检测还有什么能做的?”这个问题确实很令人迷茫,但自己今后仍然会密切关注这个方向,希望能和这篇文章一样,为大家带来一些启发。

Abstract

(1)在作者的计算方式下,PASCAL VOC (test2007) 的上界可以达到 91.6%,COCO (val2017) 可以达到 78.2%, OpenImages V4 (val) 可以达到 58.9%,它们的上界离现在所能达到的最佳的性能仍有很大的差距;

(2)发现分类错误(混淆/漏检)比定位错误和重复检测错误更加重要;

(3)分析了一些数据增强的措施对检测器的影响。

分析

1. 实验细节

(1)平台:主流检测框架 mmdetection,detectron2 ;

(2)模型:R-CNN 系列(FasterRCNN, MaskRCNN, GridRCNN, LibraRCNN, CascadeRCNN, MaskScoringRCNN, GAFasterRCNN, HTC),one-stage/anchor-free系列 (RetinaNet,SSD, FCOS, CenterNet [objects as points]);

(3)数据集:PASCAL VOC (训练 07+12, 测试 07test), MS COCO (训练 train2017, 测试 val2017), OpenImages V4 (as Kaggle Competition), Fashion dataset (作者自个的);

(4)评价标准:COCO-style AP;

2. 如何估计性能上界

(1)假定性能上界是由 best object classifier 能达到的,即认为定位问题已经解决;

(2)探究实验,利用大网络 ResNet152 对目标进行分类,能得到多少的准确率(top-1 accuracy),发现将 object 单独分离出来效果是最好的;

file

图中的 0.2, 0.4, 0.6 ... 表示 box 的放缩倍数

(3)准备基于 recognition accuracy 来估计 AP 上界。设计一种生成 candidate box 的机制,用于生成不同 IoU 的 bounding-boxes 来计算 AP,并且基于这些 bounding-boxes 重新训练 ResNet-152 分类器;

file

(4)对于每一个 bounding-box 分配 ResNet-152 的 top-1 score 所对应的 label;

3. 各数据集的上界

(1) PASCAL VOC
file

(2)COCO

file

file

(3)OpenImages V4
file

(4)AP 与识别 accuracy 的关联
file

不同类别识别精度与对应 AP 的关联

4. Error Diagnosis

(1)定义四种错误类型:

file

(2)对于每种错误,人为地消除后观察其提升,没有了分类方面的错误后,性能提升最明显:

file

5. Invariance Analysis

做各种数据处理,观察性能变化。总的来说,FCOS,RetinaNet 属于最优秀的那一档。

file
file

结论

(1)现在检测器的性能还没有离上界还有一定差距(但似乎在 IoU@0.5 时已经十分接近上界了);

(2)检测器的瓶颈在目标识别(recognition)上;

(3)检测器缺乏鲁棒性;

(4)context 对小物体比较重要,但是影响大物体的性能(掉点)。

最后,辛苦作者们了!他们的分析工具开源链接:

https://github.com/aliborji/DeetctionUpperbound
但是现在似乎还是空的,后面应该会放上去。

-End-

作者:ChenJoya

链接:https://zhuanlan.zhihu.com/p/94990078

本文已由作者授权转载,未经允许,不得二次转载。

*延伸阅读

红包口令【3】

file

新参与进来的朋友可以点击 鼠年福利 | 不用集五福也能领的千元红包~ 查看活动详情~

PS:新年假期,极市将为大家分享计算机视觉顶会 ICCV 2019 大会现场报告系列视频,欢迎前往B站【极市平台】观看,春节也学习,极市不断更,快来打卡点赞吧~

https://www.bilibili.com/video/av83388862

  • 0
  • 0
  • 1489
收藏
暂无评论
Find me
大咖

一个大的公司

  • 14,332

    关注
  • 259

    获赞
  • 51

    精选文章
近期动态
  • 哈工大深圳研究生院CV汪,请原谅我这一生放纵不羁爱CV~
文章专栏
  • Awsome-Github 资源列表