CVPR2019 专题直播 | 董峻廷:多视角下多人三维姿态估计(已开源)

线上分享 Admin ⋅ 于 2周前 ⋅ 225 阅读

CVPR2019 最全整理:全部论文下载,GitHub 源码汇总、直播视频、论文解读等
为让大家更好地了解CVPR2019优秀的论文和工作,极市计划做CVPR2019的专题直播分享会,邀请CVPR2019的论文作者进行线上直播,分享他们优秀的团队工作和技术干货,也欢迎各位小伙伴自荐或推荐优秀的CVPR论文作者到极市进行技术分享~

本次分享,极市邀请了浙江大学硕士研究生董峻廷,为我们分享其CVPR2019 的工作:多视角下多人三维姿态估计,欢迎各位小伙伴参与直播,与嘉宾互动交流~


01活动信息

主题:董峻廷:多视角下多人三维姿态估计(CVPR2019,已开源)

时间:6月13日(周四)晚20:00~21:00


02嘉宾信息

file
董峻廷
,浙江大学硕士生, 指导老师为周晓巍教授. 研究方向为计算机视觉, 主要专注于3D vision, 如三维人体姿态估计. 更多信息间个人主页: http://jtdong.com/


03关于分享

➤分享背景

从视频中恢复三维人体姿态是计算机视觉中长期存在的问题, 尽管从多视角图像恢复单人的三维姿态已经取得了很大的进步, 但是对于多人交互, 存在严重遮挡的情况, 仍然很少得到讨论. 本次分享中, 讲蛀牙欧介绍我们在这个问题上的探索工作: Fast and RobustMulti-Person 3D Pose Estimation from Multiple Views (CVPR2019). 其中, 我们的主要贡献如下: 1. 提出去利用多路径匹配(multi-waymatching)去找到各个视角中满足回路一致性的二维姿态匹配关系; 2. 提出去结合几何约束和外观信息去衡量二维特征的相似性; 3. 提出的方法在公开数据集上比之前SOTA有了很大的提升, 同时速度上比之前的方法快很多.


04回放视频

扫码关注极市平台,在后边发送“44”或“董峻廷”即可获取PPT及视频下载链接
file

05论文解读

我们介绍一篇CVPR'2019的论文:Fast and Robust Multi-Person 3D Pose Estimation from Multiple Views,该论文由浙大CAD实验室三维视觉研究组提出。该方法比之前的最先进的方法在相应的基准数据集上效果有非常明显的提升(Campus数据集96.3% vs. 90.6%, Shlef数据集96.9% vs. 88%), 同时,该算法将运行速度也提升了十几倍.

file


1. 引言

1.1 论文的问题描述

在给定标定好的多视角图像, 恢复场景中多人的三维姿态, 这是计算机视觉中一个长期存在的问题, 有着广泛的应用, 如人机交互, 视频监控, 运动体育转播等等.

file


1.2 当前方法在这个问题的局限性

现有的方法都是第一步先用一个已有的2D人体姿态估计器得到每一个视角下的2D姿态. 然后将各个视角下同类别的2D关节点triangulation得到所有人的3D关节候选点, 然后在这所有人的状态空间上用pictorial structure model去推理得到每个人的3D姿态, 由此导致计算量巨大, 同时因为没有考虑人的外观信息, 精度也不高.


1.3 我们的出发点和解决方法

考虑到之前的方法把所有人的候选点混在一起做推理, 这样又慢有容易出错, 我们就想能不能先找到各个视角下人与人的对应关系, 然后在同一个的候选空间里去做推理, 这样推理空间大大减小, 而且正确性也还能提升.


由此我们就提出去结合几何信息和人体的外观信息, 去寻找各个视角中人的对应关系, 同时加入回路一致性的约束, 保证多视角匹配的一致性.

file

2. 论文方法

file

2.1 问题的形式化

我们把上述问题, 形式化成一个优化问题. 首先, 利用极几何约束和人体外观信息构造相似性矩阵A, 然后我们要求解的各个视角中人与人的对应关系矩阵P. 同时我们又有回路一致性的约束, 要求矩阵P是低秩, 为了便于优化, 低秩可以进一步松弛为矩阵P的核范数. 由此得到一个凸问题如下:

file
file

我们提出了以下算法来高效求解:

file

实验分析

我们先在Campus和Shelf数据集上, 和之前的SOTA做比较. 结果是, 在PCP的metric下, 在Campus数据集上我们的方法比之前的SOTA高出5.7%, 在Shelf上高出8.9%. 甚至是我们的方法不用pictorial structure的结构而用最简单的triangulation, 在两个数据集上也比SOTA分别高出1.9%和7.1%. 具体结果如下:

file


06往期回顾

极市致力于打造最专业的的视觉算法开发与分发平台,特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验,目前已成功举办43期线上分享:极市计算机视觉线上技术分享集锦(更新中)


如对直播或论文有疑问欢迎在此贴下提问,嘉宾会在直播中回答大家的问题。同时也欢迎大家对CVPR2019专题分享会提出建议,或者推荐其他优秀的CVPR论文作者到极市进行技术分享~

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!