华科开源多目标跟踪(MOT)实时新 SOTA:FairMOT

技术讨论 Admin ⋅ 于 5个月前 ⋅ 2202 阅读
本文授权转载知乎作者黄飘,https://zhuanlan.zhihu.com/p/126558285,未经允许,不得二次转载

前言

今天又开源了一篇MOT的新SOTA,也是实时的,也是CenterNet为底层的,估计是看到CenterTrack开源了。emmm....看来我近期看的几篇都在今年某顶会扎堆了,噗。这里我还是把这篇文章给介绍一下吧,有意思的是其中的大部分论点我都在之前的博客([2]、[3])说过了。

FairMOT

论文题目:A Simple Baseline for Multi-Object Tracking
作者团队:华科\&微软亚研院
备注:MOT15\~20(private):59.0、68.7、67.5、58.7 MOTA
代码链接:https://github.com/ifzhang/FairMOT

这篇论文的立意是两部分,一个是类似于CenterTrack的基于CenterNet的联合检测和跟踪的框架,一个是类似于JDE,但是却又不同的,探讨了检测框架与ReID特征任务的集成问题。

作者称这类框架为one-shot MOT框架,论文一开始作者讨论了检测框架和ReID任务的关系:

作者的意思是anchor-based的检测框架中存在anchor和特征的不对齐问题,所以这方面不如anchor-free框架,emmm...指出的问题的确是对的,不过详细的讨论建议各位看看我之前对这个问题的详细讨论[3] [4]。作者因为这个问题而选择了anchor-free算法——CenterNet,不过其用法并不是类似于CenterTrack[2]中采取的类似于D\&T的孪生联合方式,而是采用的Tracktor++的方式。

我们知道原始的anchor-free框架的大多数backbone都是采用了骨骼关键点中的hourglass结构:

后面我会单独开一个Re-ID和MOT的专题,这里呢作者就谈到了Re-ID网络中典型的多尺度问题,所以就提出要将hourglass结构改成上图中的多尺度融合的形式。最后通过两个分支完成了检测和Re-ID任务的集成,那么接下来的部分就是如何训练。

在训练部分呢,同样地,考虑到正负样本不均衡问题,作者采用了focal loss的形式:

其中M(x,y)表示的是heatmap在(x,y)处存在目标的概率,而对于box size和offset则采用L1 loss:

最后对于Re-ID分支而言,作者采用了identification式的分类框架,这里面的L就是不同的ID的one-hot表示,p就是网络预测的分类置信度。

在实验部分,作者先是通过实验证明anchor-free的框架比anchor-based框架更适合reid:

紧接着论证了多尺度融合框架对于Re-ID的影响:

的确,从特征空间来讲,各ID的特征距离更大了。而对于Re-ID的特征维度,作者通过实验表明128维即可,这里我就不细说了。最后放一下结果,下面都是private赛道的:

我最近是不是有点高产似。。。

参考资源

[1] A Simple Baseline for Multi-Object Tracking

[2] https://zhuanlan.zhihu.com/p/125395219

[3] https://zhuanlan.zhihu.com/p/114700229

[4] https://zhuanlan.zhihu.com/p/126359766

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!