终于!DAVIS2017 视频目标分割冠军代码开源了

比赛 Admin ⋅ 于 2个月前 ⋅ 306 阅读

来源:我爱计算机视觉@微信公众号

传统视频分割经常依赖于时序连续来生成mask(目标的掩膜),而真实的视频中的目标位置往往存在着一些跳变,比如在目标快速漂移和被遮挡的时候因为较大的位移而使得这种假设目标运动连续的算法失败。为了克服这个问题,来自香港中文大学、哈尔滨工业大学和商汤科技公司的研究团队提出了一种更有效的机制,即通过自适应的目标重识别(object re-identification)应对目标丢失。

基于此的目标重识别视频分割(VS-ReID)模型包括目标mask生成模块和ReID模块。mask生成模块通过光流卷曲(flow warping)生成初始的(目标-背景)引导概率图,ReID模块则在视频序列中通过自适应匹配检索丢失的目标实例。这两个模块迭代应用,有效解决了视频分割中突然的目标位移过大带来的丢失,VS-ReID模型在2017 DAVIS视频分割比赛中获得了冠军。

问题描述:给定视频序列和第一帧的标注,输出所有实例后续的mask

file

困难点:实例分割中小目标和精细的结构与尺度和姿态的变化,跟踪中频繁的遮挡:

file

应对策略:Mask 生成模块与目标重识别模块

file

VS-ReID算法总览:

file

Mask生成模块示图:

file

通过前后帧的光流再前一帧mask的卷曲,生成引导概率图:

file

file

目标重识别模块:

file

从重识别模块给定的包围盒恢复目标mask:

file

例子:在第21帧和80帧恢复了两个之前被遮挡的目标:

file

DAVIS 2017比赛测试集上取得了最好的精度:

file

一些分割示例:

file

算法来自论文《Video Object Segmentation with Re-identification》

https://arxiv.org/abs/1708.00197

代码:

https://github.com/lxx1991/VS-ReID

https://liuziwei7.github.io/projects/VSReID.html


推荐文章
谷歌新技术:移动实时视频分割
语义分割&视频分割开源代码集合

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!