| 极市线上分享 第76期 |
一直以来,为让大家更好地了解学界业界优秀的论文和工作,极市已邀请了超过90位技术大咖嘉宾,并完成了75期极市线上直播分享。往期分享请前往http://bbs.cvmart.net/topics/149,也欢迎各位小伙伴自荐或推荐更多多优秀的技术嘉宾到极市进行技术分享,与大家一起交流学习\~\~
多视图立体几何(Multi-view Stereo, MVS)是一种很经典的三维重建方法,旨在从多视角图像中恢复场景的三维信息。近年来,越来越多的工作开始将深度学习与传统的多视图立体几何方法结合,以提升三维重建的精度,如MVSNet、R-MVSNet等。尽管深度学习的强大表征能力可以带来显著的性能提升,但是其对于数据的依赖却十分严重,需要大量的数据以及Ground Truth来训练神经网络。在现实场景下,三维的Ground Truth较难获取,采集标注成本很高,给基于深度学习的三维重建带来了不小的困难。
在这次分享中,我们邀请到了来自华南理工大学的许鸿斌,为我们介绍他团队在AAAI 2021上的工作
Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation。
此前的自监督三维重建方法都是基于颜色一致性假设,即匹配点具有相同的颜色。然而这一假设在自然场景下却难以成立,因为不同视角图像之间天然存在的光照差异等干扰,导致匹配点间具有不同的颜色。这可能会导致自监督信号失效,无法有效地起到监督作用,我们称其为颜色一致性歧义问题。针对这一问题,他们团队在自监督训练框架中引入协同分割和数据增强策略:通过协同分割挖掘多视角之间的共有抽象语义,并设计了一个语义一致性损失;通过将自监督训练拓展为双阶段,引入数据增强一致性损失。
01 嘉宾介绍
许鸿斌
许鸿斌,华南理工大学研三硕士生,指导老师为康文雄教授,目前在深圳中科院先进技术研究院(SIAT-MMLab)的乔宇老师团队实习。研究方向为计算机视觉、三维重建、自监督学习等。
02 关于分享
➤分享大纲
1、背景知识(基于深度学习的MVS方法,自监督的MVS方法)
2、存在的核心问题(颜色一致性歧义问题)
3、我们的方法(基于协同分割与数据增强的自监督训练框架)
4、实验分析
5、总结与展望
➤论文
Self-supervised Multi-view Stereo via Effective Co-segmentation and Data-Augmentation
论文地址:
https://www.aaai.org/AAAI21Papers/AAAI-2549.XuH.pdf
03 直播回放
https://www.bilibili.com/video/BV16y4y1J7ep/
04 往期回顾
极市平台专注分享计算机视觉前沿资讯和技术干货,特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验,目前已成功举办75期线上分享。近期在线分享可点击以下标题查看:
- 方浩|车道线检测新 SOTA,RESA:循环特征位移聚合器(AAAI2021)
- 田值|BoxInst,使用外接框标注的高性能实例分割
- 汤凯华|利用因果分析解决通用的长尾分布问题
- 郑哲东丨从行人重识别到无人机定位
- 朱本金丨AutoAssign,目标检测中完全动态的正负样本标签分配方
- 彭小江\&王锴丨非受控环境下的表情识别
- 张航|ResNeSt:拆分注意力网络
- 直播回放|CSIG-广东省CVPR2020论文在线学术报告
- 赛事集训直播 | 技术大咖带你揭秘世界人工智能创新大赛
- 谢恩泽|CVPR2020-PolarMask,一阶段实例分割新思路
- 陈昊|CVPR2020-BlendMask,高质高效的实例分割模型
- 邓富城\&邱丹| 极市平台在线训练\&英特尔®OpenVINO™加速深度学习推理
- 徐晨丰|ICCV2019-人群密度分析与计数(CV101榜单双料冠军方案)
- 边佳旺|NeurIPS2019:无监督且尺度一致的深度估计与视觉SLAM
- 李夏|ICCV2019:语义分割中的自注意力机制和低秩重建
- 朱政|基于孪生网络结构的SiamRPN系列目标跟踪算法
- 董峻廷|CVPR2019:快速鲁棒的多视角多人三维姿态估计新方法
- 邓健康|CVPR2019:ArcFace 构建高效的人脸识别系统
- 张志鹏|CVPR2019:基于siamese网络的单目标跟踪
- 诸宸辰|CVPR2019:基于Anchor-free特征选择模块的单阶目标检测
- 王鑫龙|CVPR2019:联合分割点云中的实例和语义
- 张钊宁|算力限制下的目标检测实战及思考
- 马智恒|深度学习在工业检测中的应用
- 小美\&张德兵|分布式人脸识别及工业运用经验
- 高继扬|时序动作检测
- 孙书洋|CVPR 2018论文详解:光流导向特征在视频动作识别中的应用
- 邬书哲|基于卷积神经网络的鲁棒人脸检测
- 张锋|2D单人人体姿态估计及其应用
- 王蒙蒙|基于计算机视觉的目标跟踪算法概览
……
更多往期分享请浏览:极市计算机视觉技术分享集锦(http://bbs.cvmart.net/topics/149/cvshare)。
在"极市平台"公众号后台回复期数或者分享嘉宾名字,即可获取极市平台对应期在线分享资料。
05 关于极市平台
极市(Extreme Mart)是深圳极视角科技有限公司旗下AI开发者生态,面向计算机视觉算法工程师,为开发者提供算法开发环境、真实数据项目实战、自动测试、加速工具、算法封装等全方位平台技术与工程支持,同时提供技术干货、大咖分享、社区交流、竞赛活动等丰富的内容与服务。官网:http://www.cvmart.net
微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货