DensePose 开源了,2D 变 3D 人体姿势实时识别 | Facebook@CVPR 2018

代码模型 Admin ⋅ 于 2个月前 ⋅ 454 阅读

来源:量子位 | 公众号 QbitAI
编译整理:圆栗子

大家可能还记得,今年2月Facebook发布的,人体姿势实时识别系统DensePose。

现在,代码开源了。撒花。

100人也很轻松

DensePose,这项技术可以把2D图像,转换成3D人体模型,并已成功跻身今年CVPR的Oral环节。

file

Facebook和来自法国的INRIA研究所共同开发的AI,和传统姿态估计系统很不一样。前人的姿势识别,大多是着眼一组关节,比如手腕,比如肘部。不过,Facebook团队觉得,这样的观察方式,是没有办法深刻理解图像的。

file

他们需要的是,人体表面的全方位观察,把每个人变成UV贴图,一片一片一片,一片。系统可以覆盖浑身上下超过5000个节点,比十几个关节要细致得多。另外,DensePose每秒处理多帧画面,而且,就算视频里同时出现100个人,也没问题。

file

每一个被人体占据的像素,尽收眼底。这样的任务,一个GPU可以完全搞定。2D转3D的速度和准确度,有希望为AR/VR这样的应用提供加持。

数据集叫COCO

这样的成就,DensePose-COCO功勋卓著。
这是一个大规模的参考标准 (Ground Truth) 数据集。里面包含了5万人图像 - 表面UV图的一一对应。

file
随机采样的人类,千姿百态,还有各个身体部位分割开来的样子。万事俱备,只是数据集还没开源。

模型结构怎样

DensePose-RCNN,深度神经网络的结构,是团队新建的。

file

他们是在Facebook自家的物体检测平台Detectron上面,搭起了这样一个模型。在全卷积处理之后,用了兴趣区域池化层 (ROI Pooling) 。研究人员用三个输出通道,扩增了这个网络。训练好之后,AI可以把每一个像素,分配到不同的身体部位,给出U坐标和V坐标。

file

看着自家神经网络茁壮成长,Facebook团队还在博客里致谢了被并到PyTorch里的Caffe 2。

学习时间

现在,既然还不知道数据集里面,有多少羞羞的姿势,大家就先瞻仰一下代码吧。

file

GitHub传送门:https://github.com/facebookresearch/DensePose

顺便,CVPR正在盐湖城开心地进行。6月22日,就要轮到DensePose团队开讲,当地时间早8点之前,沉迷学习的各位可以趁机复习一下论文。

论文传送门:https://arxiv.org/pdf/1802.00434.pdf



推荐文章
FAIR提出人体姿势估计新模型DensePose-RCNN,升级版Mask-RCNN

上交卢策吾团队开源AlphaPose,姿态估计比Mask-RCNN提高8%

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!