极市直播丨第 76 期-许鸿斌:AAAI'21 杰出论文,一个解决三维重建对数据依赖的新框架(已开源)

技术直播 Admin ⋅ 于 1个月前 ⋅ 277 阅读

| 极市线上分享 第76期 |

一直以来,为让大家更好地了解学界业界优秀的论文和工作,极市已邀请了超过90位技术大咖嘉宾,并完成了75期极市线上直播分享。往期分享请前往http://bbs.cvmart.net/topics/149,也欢迎各位小伙伴自荐或推荐更多多优秀的技术嘉宾到极市进行技术分享,与大家一起交流学习\~\~

多视图立体几何(Multi-view Stereo, MVS)是一种很经典的三维重建方法,旨在从多视角图像中恢复场景的三维信息。近年来,越来越多的工作开始将深度学习与传统的多视图立体几何方法结合,以提升三维重建的精度,如MVSNet、R-MVSNet等。尽管深度学习的强大表征能力可以带来显著的性能提升,但是其对于数据的依赖却十分严重,需要大量的数据以及Ground Truth来训练神经网络。在现实场景下,三维的Ground Truth较难获取,采集标注成本很高,给基于深度学习的三维重建带来了不小的困难。

在这次分享中,我们邀请到了来自华南理工大学的许鸿斌,为我们介绍他团队在AAAI 2021上的工作

Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation。

此前的自监督三维重建方法都是基于颜色一致性假设,即匹配点具有相同的颜色。然而这一假设在自然场景下却难以成立,因为不同视角图像之间天然存在的光照差异等干扰,导致匹配点间具有不同的颜色。这可能会导致自监督信号失效,无法有效地起到监督作用,我们称其为颜色一致性歧义问题。针对这一问题,他们团队在自监督训练框架中引入协同分割和数据增强策略:通过协同分割挖掘多视角之间的共有抽象语义,并设计了一个语义一致性损失;通过将自监督训练拓展为双阶段,引入数据增强一致性损失。

01 嘉宾介绍

file

许鸿斌

许鸿斌,华南理工大学研三硕士生,指导老师为康文雄教授,目前在深圳中科院先进技术研究院(SIAT-MMLab)的乔宇老师团队实习。研究方向为计算机视觉、三维重建、自监督学习等。

02 关于分享

分享大纲

1、背景知识(基于深度学习的MVS方法,自监督的MVS方法)

2、存在的核心问题(颜色一致性歧义问题)

3、我们的方法(基于协同分割与数据增强的自监督训练框架)

4、实验分析

5、总结与展望

➤论文

Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation

论文地址:

https://www.aaai.org/AAAI21Papers/AAAI-2549.XuH.pdf

03 直播回放

https://www.bilibili.com/video/BV16y4y1J7ep/

04 往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货,特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验,目前已成功举办75期线上分享。近期在线分享可点击以下标题查看:

……

更多往期分享请浏览:极市计算机视觉技术分享集锦(http://bbs.cvmart.net/topics/149/cvshare)。

在"极市平台"公众号后台回复期数或者分享嘉宾名字,即可获取极市平台对应期在线分享资料。

05 关于极市平台

极市(Extreme Mart)是深圳极视角科技有限公司旗下AI开发者生态,面向计算机视觉算法工程师,为开发者提供算法开发环境、真实数据项目实战、自动测试、加速工具、算法封装等全方位平台技术与工程支持,同时提供技术干货、大咖分享、社区交流、竞赛活动等丰富的内容与服务。官网:http://www.cvmart.net

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!