• 问答
  • 技术
  • 实践
  • 资源
极市直播丨第 84 期-刘虹雨:结合深度神经网络进行有效的图像修复和编辑

| 极市线上分享  第84期 |

图像修复和图像编辑是图像处理的重要基本任务,同时也一直是研究热点。
在这次分享中,我们邀请到了来自虎牙直播AI基础技术部的刘虹雨算法工程师,为我们介绍他团队在如何结合深度神经网络进行有效的图像修复和编辑这两个问题上的探索工作,两份工作都已经被CVPR2021收录。

多样性修复是指针对图像孔洞区域生成出多样的修复结果而非以往的单一结果,在PD-GAN中他们根据图像孔洞边缘生成内容确定性越大而中心确定性越小提出一种spatially probabilistic diversity normalization来解决多样性图像修复的问题,同时他们还提出了一种perceptual diversity loss 来提升多样性的效果。对于图像编辑,他们通过低层级控制信息如线条或者颜色来直接影响最后生成结果,DeFLOCNet中他们提出了一种有效的injection方式,帮助低层级控制信息(颜色和线条)有效的控制生成结果。

PD-GAN: Probabilistic Diverse GAN for Image Inpainting
本文提出一种非常自然的prior,即越靠近孔洞的中心其多样性越高,diverse越强,越靠近孔洞边缘其多样性越低越应该与上下文consistent起来,保证无缝链接,这样整个生成的图像就可以多样并且不突兀。通过采用vanilla GAN的框架,利用latent code对来影响孔洞内容,利用前面提到的prior本文很好地保证了GAN的特性就是多样性,同时也保证了生成内容能够与上下文融为一体。

DeFLOCNet: Deep Image Editing via Flexible Low level Controls
本文设计了Structure generation block, 把线条以及色彩看作孔洞区域的结构信息,并通过Spade Norm注入到feature中。同时,设计了Texture generation branch 辅助纹理的生成。最终提出了DeFLOCNet,并在图像编辑任务上取得了不错的效果。

01 直播信息

主题多样性图像修复和基于低层级信息控制的图像编辑

02 嘉宾介绍

刘虹雨

虎牙直播AI基础技术部,计算机视觉算法工程师。工作方向为基于对抗生成网络的图片编辑、人脸图片驱动、底层视觉等。

03 关于分享

分享大纲

1、个人介绍

2、图像编辑和修复的相关知识介绍

3、PDGAN的介绍

4、DeFLOCNet的介绍

➤论文

1.PD-GAN: Probabilistic Diverse GAN for Image Inpainting

链接地址:https://arxiv.org/abs/2105.02201

2.DeFLOCNet: Deep Image Editing via Flexible Low level Controls

链接地址:https://arxiv.org/abs/2103.12723

04 直播回放

https://www.bilibili.com/video/BV1x64y1Q7X9/

PPT链接: https://pan.baidu.com/s/1EQ7wvWxC5W2V0bf8iQNrqw
密码: ofgr

往期回顾

极市平台专注分享计算机视觉前沿资讯和技术干货,特邀请行业内专业牛人嘉宾为大家分享视觉领域内的干货及经验,目前已成功举办82期线上分享。近期在线分享可点击以下标题查看:

……

更多往期分享请浏览:极市计算机视觉技术分享集锦(http://bbs.cvmart.net/topics/149/cvshare)。

在"极市平台"公众号后台回复期数或者分享嘉宾名字,即可获取极市平台对应期在线分享资料。

关于极市平台

极市(Extreme Mart) 是深圳极视角科技有限公司旗下AI开发者生态,面向计算机视觉算法工程师,为开发者提供算法开发环境、真实数据项目实战、自动测试、加速工具、算法封装等全方位平台技术与工程支持,同时提供技术干货、大咖分享、社区交流、竞赛活动等丰富的内容与服务。官网:http://www.cvmart.net

  • 0
  • 0
  • 125
收藏
暂无评论
Admin
大咖

极市平台

  • 18,361

    关注
  • 1,123

    获赞
  • 131

    精选文章
近期动态
  • 极市社区管理员,分享计算机视觉各个方向视觉干货,欢迎关注
文章专栏
  • 极市平台