极市直播|第 50 期-边佳旺:无监督且尺度一致的深度估计与视觉 SLAM(NeurIPS 2019,已开源)

技术直播 Admin ⋅ 于 2周前 ⋅ 最后回复由 shijie 1周前 ⋅ 488 阅读

由于嘉宾外网不太稳定,本次直播采用播放录制视频 + 社区评论互动形式,大家可以在11月30日20:00准时收看直播:https://live.bilibili.com/3344545 ,并在本帖下评论发表问题哦,嘉宾将会实时回复各位的问题,感谢大家的参与!

直播已结束,如有问题可继续在下方评论处提问,以下是PPT及回放视频下载
链接:https://pan.baidu.com/s/1GlEH9oVuYbUf04jA-c_RPw
提取码:提示:此内容登录后可查看



拉到最底部即可发表问题与嘉宾互动答疑,以下为正文:


本次分享,极市重磅邀请到澳大利亚阿德莱德大学博士生边佳旺,为我们分享无监督且尺度一致的深度估计与视觉SLAM,边博士之前也曾在极市做过分享:极市分享干货|第 18 期:稳定的图像特征匹配以及快速的 GMS 方案(视频 +PPT),干货满满,欢迎各位小伙伴回顾前期视频并参与本次直播,与嘉宾互动交流哦~


01活动信息

主题:无监督且尺度一致的深度估计与视觉SLAM

时间:11月29日(周五)晚20:00~21:00


02嘉宾信息

file

边佳旺

澳大利亚阿德莱德大学博士生,指导老师为Ian Reid和沈春华教授。研究方向为计算机视觉,图像特征匹配,深度估计,视觉SLAM等。更多信息见个人主页:https://jwbian.net/


03关于分享

➤分享背景

深度估计是从二维图像恢复场景三维结构的核心问题。近期研究表明深度估计网络可以通过在单目视频上进行无监督训练而取得不错的精度。其本质是利用传统SLAM算法中的多视角几何原理作为监督信号。然而由于单目尺度歧义问题,以及当前算法单独对待每个训练样本,导致训练出来的网络不能在整段视频上输出尺度一致的图像深度。也就是说这种深度估计网络不能用于SLAM任务,因为他们输出的深度无法融入到同一尺度的坐标系下来建图。同样的道理,位姿估计网络也不能用于定位。在本次分享中,我们将分析并解决尺度一致性问题,从而利用无监督的深度估计网络来提升SLAM的实用性和精度。文章题目:Unsupervised Scale-consistent Depth and Ego-motion Learning from MonocularVideo (NeurIPS2019)


➤分享大纲

  1. 单目无监督深度估计原理

  2. 输出尺度不一致问题

  3. 我们的解决方案

  4. 用输出尺度一致的深度做SLAM

  5. 三维重构Demo


04视频回放

PPT及回放视频下载
链接:https://pan.baidu.com/s/1GlEH9oVuYbUf04jA-c_RPw
提取码:提示:此内容登录后可查看


05往期回顾

极市致力于打造最专业的的视觉算法开发与分发平台,特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验,目前已成功举办49期线上分享:
极市计算机视觉线上技术分享集锦(视频 +PPT,更新中)

如对直播或论文有疑问欢迎在此贴下提问,嘉宾会在直播中回答大家的问题。同时也欢迎大家对极市直播分享提出建议,或者推荐其他优秀的嘉宾到极市进行技术分享~


推荐阅读:
ICCV2019 全部论文分类汇总(含目标检测 / 图像分割等,1008 更新中)
计算机视觉知识点总结
VALSE 2019 大会信息资讯帖(含相关 PPT 下载链接)
CVPR2019 最全整理:全部论文下载,GitHub 源码汇总、直播视频、论文解读等

微信公众号: 极市平台(ID: extrememart )
每天推送最新CV干货

本帖已被设为精华帖!
本帖由 sophie 于 1周前 加精
回复数量: 17
  • 欢迎大家到时候提问。我会在8:00到9:30期间保持回复。

    1周前 2
  • shijie 硕士研究生 @ 华南理工

    想问下大佬,基于深度学习的单目深度估计有什么优势呢?具有什么发展前景?有什么实际应用呢?感谢

    1周前
    • @shijie 1,廉价,而且在一定范围内已经可以输出可靠的depth。2,实际应用可以在AR/VR或结合实际场景的游戏中使用。

      1周前 1
  • 您好,请教一下视觉与imu融合的slam系统,当视觉观测不稳定时,如快速运动场景,如何弱化视觉残差在优化中的权重?

    1周前
  • 您好,在复现过程中存在一些疑问,请问SC-SfMLearner在训练过程中的深度一致性损失和平滑损失的变化是否存在先下降后上升的情况?想知道为什么深度一致性损失的上升为什么最后也会有利于结果?深度一致性损失能否直接应用于其他单目深度估计系统呢?感谢解答!

    1周前
    • @daii 1.刚开始的时候网络参数是随机的,一致性loss意义不大,通过一定训练才会收敛到正常范围。2.可以。不过需要有多个连续frame以及他们的pose。

      1周前 2
  • Admin 社区管理员 @ 极市平台

    大家可以实时提问啦~记得多多刷新查看最新回复哦!

    1周前
  • 您好,想请问framework中生成的projection flow主要有什么用呢?是否和光流相关?和Geonet中使用的光流方法有联系吗?感谢解答!谢谢!

    1周前
    • @daii 和GeoNet中的光流没有关系。和SfMLearner中的depth based projection是一样的。

      1周前 1
  • 请问SLAM中回环检测和深度学习结合有哪些可行的方向呢?

    1周前
    • @kira 1.首先可以用基于deep的方法做回环检测。2,在本文中,我们只是用回环来优化基于深度学习的定位。

      1周前 1
  • 邓布利多 算法工程师 @ 华中科大

    大佬好!最近接触到一些单目以及vio的算法,发现很多算法都是室内环境测试的,请问目前诸如vins,dso,orbslam等算法在道路环境中的应用如何,主要限制在哪?谢谢~

    1周前
    • @邓布利多 IMU我不熟悉。双目ORB-SLAM在KITTI跑得很好啊。单目一般还是因为特征匹配的精度和数量不够。所以tracking容易断,系统初始化也慢。

      1周前
  • hello_uncle 算法工程师 @ 北邮

    之前没接触过这块,想请问下视觉SLAM有什么比较好的研究课题呢?

    1周前
您需要登陆以后才能留下评论!