【变狗为猫】伯克利图像迁移 cycleGAN,猫狗互换效果感人

技术讨论 Admin ⋅ 于 1周前 ⋅ 45 阅读

本文授权转自新智元微信公众号(id:AI_era)。
来源:qiita.com
作者:itok_msi
编译:neko


GAN(生成对抗网络)为图像变换任务带来了很多的惊喜,受到很多研究者的关注。例如前阵子很火的“画猫”项目(edges2cats):勾勒出物体的边缘,神经网络能够自动补全图像信息,生成对应的图片(图1)。也有人脑洞大开,用DCGAN、WGAN等4种GAN来生成“猫图”(图2)。最近,日本NTT Data的itok_msi小哥用其中比较新的cycleGAN网络,做了一个“将狗的图像变成猫”的模型,并且生成的猫的姿势和毛色与作为输入的狗的图像保持一致。

file
图1:edges2cats 画猫

file

图2:WGAN 生成的猫咪图像

cycleGAN

cycleGAN是加州大学伯克利分校 Jun-Yan Zhu等人提出的一种图像风格转换技术。它的想法是在没有成对的训练数据的情况下,实现图像风格转换。cycleGAN效果令人印象深刻,它可以让不同画家风格的画作还原成照片,将夏天变成冬天,将马变成斑马,橘子变成苹果,等等(图3)。

file

图3:cycleGAN 的图像转换效果

cycleGAN 的具体方法和实现细节请参看论文,论文地址:https://arxiv.org/abs/1703.10593

cycleGAN猫狗转换的难点

实际上,cycleGAN的原论文(Zhu, Jun-Yan, et al., 2017)中也提出了将狗的图像变成猫的想法,但论文中的实验结果是失败的(图4)。

file
图4:cycleGAN将狗转变成猫的是失败例子

这是由于猫和狗的毛色、质感不同,尤其是脸型差异非常大。原论文中也指出这是往后需要研究的一个课题。

尤其是,Gdog→cat(将狗转变成猫)出来的图像几乎与原图一模一样。原因是什么呢?作者提出了2个可能的原因:

  1. cycle consistency loss的效果太强

要将猫和狗进行变换,就不得不牺牲输入图像的一部分信息。这就需要使cycle consistency loss增大。一方面,假如输入图像和输出的图像完全一样,也就是cycle consistency loss需要最小。我们想要将狗变成猫,那么完全一样是不行的,也就是cycleGAN的损失需要大一点。但是,这里的问题出在狗和猫有一些局部特征是非常相似的。

  1. 狗和猫的局部特征非常相似
    cycleGAN的判别器(DA,DB)采用patchGAN(参考文献[1][2])的机制学习。在鉴别输入的图像是生成器生成的图像,还是源图像时,不使用整个图像,而是使用图像的局部(patch)进行判别。

判别器网络变小虽然有好处,但是猫和狗有些局部特征非常相似,使得学习相当困难(图5)。换句话说,就算Gdog→cat(将狗变换成猫)生成的结果与源图像完全一致,也可能欺骗判别器说变换的效果非常好。

file

图5:狗和猫有一些局部特征非常相似

修改版的cycleGAN

针对上面的2个问题,对cycleGAN进行2个简单的修改。

  1. 让判别器观察全局特征进行判断
    简单地说,在patchGAN的判别器增加一层,LGAN同时考虑全局的信息和局部的信息。

  2. 在误差函数上将cycle consistency loss的比例变小
    误差函数上cycle consistency loss的系数减小到原来的1/10。

实验

在cycleGAN论文作者开源的pytorch实现基础上稍作修改,实验环境是aws的p2.2xlarge实例。

使用数据

使用The Oxford-IIIT Pet Dataset,其中狗的图像1922幅,猫的图像3922幅作为训练数据,其余作为验证数据。

实验结果

file

比较好的结果(猫→狗)

file

似乎长得蠢蠢的猫输出的结果也是蠢蠢的狗

file

比较好的结果(狗→猫)

file
失败的结果(猫→狗)

file
失败的结果(狗→猫)

思考
虽然作了一些修改,但有时候不能得到期待的结果,尤其是:

动物的毛色信息没有保留
背景和动物融为一体
生成的图像非常模糊
变换前后的猫狗图像看起来没什么区别
失败的例子有点多。

原因可能是:

修改后的网络误差比例太小
鉴别器的网络太大导致学习效果不好

追加实验结果

在上面的实验的基础上,针对实验失败的可能原因继续进行修改后,得到了比较好的一些结果:

file

比较好的结果(猫→狗)

file

比较好的结果(狗→猫)

file

失败的结果(猫→狗)

file

失败的结果(狗→猫)

总的来说,如果狗和猫的图像是朝向正面,结果会比较好。这是由于从正面看,猫和狗的五官有相似之处。但是在上面两个例子中,如果图像中猫或狗的脸朝向侧面,狗有大耳朵而猫没有,需要进行大胆的变换,依然是相当难的。

参考文献

[1]Jun-Yan Zhu, Taesung Park, Phillip Isola, Alexei A. Efros, Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, arXiv preprint arxiv:1703.10593, 2017.

[2]Phillip Isola, Jun-Yan Zhu, Tinghui Zhou, Alexei A. Efros, Image-to-Image Translation with Conditional Adversarial Networks, Image-to-Image Translation with Conditional Adversarial Networks, arXiv preprint arxiv:1611.07004 , 2016.

原文:GANで犬を猫にできるか~cycleGAN編(1)~


推荐文章
郑哲东|Deep-ReID: 关于行人重识别的深度学习方法
CVPR 2017最佳论文解读:密集连接卷积网络
ActivityNet Challenge 2017 冠军方案分享
ImageNet 2017目标定位冠军论文:双路径网络
【行人识别】Deep Transfer Learning for Person Re-identification
利用卷积自编码器对图片进行降噪



file
△ 扫一扫关注 极市平台
每天推送最新CV干货

CV干货 微信公众号: 极市平台
ID: extrememart

成为第一个点赞的人吧 :bowtie:
回复数量: 0
暂无回复~
您需要登陆以后才能留下评论!