基生成抗神网络图风格快速迁移
Fast Image Style Transfer Based on Generative Adversarial Networks
摘
现科研娱乐图片视频处理需求越越需更处理图片视频应图风格迁移图风格迁移领域类难快速学某种图片风格利力专门软件处理图片耗时间需动化快速迁移方法
文实现图风格进行快速风格迁移应针传统图迁移方法迁移速度慢复性弱缺点里种更新型神网络方法——循环致性生成抗网络（CycleConsistent Generative Adversarial Networks CycleGAN）编写代码实现CycleGAN中鉴器生成器通神网络迭代训练训练出进行图风格迁移生成器利项技术文训练出7风格迁移生成器分：梵高莫奈塞尚浮世绘齐白石唐寅山水画实现片风格迁移文实现两相似物体间风格互换3种：马斑马互转夏季冬季互转苹果橘子互转
关键词： 图风格迁移快速迁移CycleGAN生成抗网络鉴器生成器
Abstract
Nowadays whether it is for scientific research or entertainment people have an increasing demand for image and video processing so more and more applications of image and video processing are needed such as image style transfer In the field of image style transfer it is difficult for human beings to learn a certain image style quickly and it takes time to process images on specialized software with human beings so people need a fast method of migration that can be automated
This paper mainly realizes an application of fast style migration of image style Image migration method for traditional migration speed slow problem of weak reusability here USES a new type of neural network method more consistency loop generated against network (Cycle Consistent Generative Adversarial Networks CycleGAN) After coding the discriminator and generator in CycleGAN the generator for image style transfer can be trained through the iterative training of neural network Using this technique this paper has trained seven style transfer generators namely van gogh monet Cezanne ukiyoe qi baishi tang Yin landscape painting In addition to the transfer of photo styles this paper also realizes the style exchange between two similar objects There are three kinds the horse turns with the zebra the summer turns with the winter the apple turns with the orange
Key words Image style transfer Rapid migration CycleGAN Generating antagonistic network Discriminator The generator
目录
第章 绪 1
11 研究背景 1
12 国外研究现状 3
13 文容 4
第二章 研究方法原理介绍 5
21 生成抗网络（GAN） 5
211生成器模型（Generator Model） 5
212鉴器模型（Discriminator Model） 6
213生成抗网络结构 7
214 GAN原理Loss 8
22 GAN应 9
23 循环致性生成抗网络（CycleGAN） 10
24 CycleGAN应 13
第三章 研究程 14
31 CycleGAN实现 14
311 实现CycleGAN鉴器模型 14
312 实现CycleGAN生成器模型 15
313 实现CycleGAN复合模型 17
32 训练流程算法 18
33 实验条件 19
34 实验程 20
第四章 实验结果讨分析 24
41 风格图片效果分析 24
42 模型损失分析 26
43 风格迁移方法较 28
第五章 总结展 31
51 工作总结 31
52 续工作展 31
参考文献 33
附录 34
致谢 40
第章 绪
11 研究背景
想象果19世纪荷兰画家梵高校园画幅画脑海中者绘画风格校园风景会呈现样效果？然梵高会复活没强想象力衍生出项应——图风格迁移
图风格迁移(Style Transfer)顾名思义种图片风格转换成种图片风格图片风格图11张图艺术风格计算机理解风格什困难更说图风格变成种风格
图11 3种图片风格
想计算机理解图片风格什科学家做努力2000年前时间时候没图迁移图片纹理研究20002015年间图纹理手动建模A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients[1]中重思想：纹理图局部特征统计模型描述思想通复杂数学公式模型科学家整理生成纹理手动建模耗费时间
纹理生成生成纹理样纹理生成文图风格迁移时没准确划分出领域名称没时风格迁移研究中风格算法互相间没点独立例油画风格迁移七步骤抽取迁移油画特征例子头风格迁移三步骤头风格样式迁移样式十步骤发展没点
风格迁移发展背游戏功劳游戏机刚发明初离开显卡显卡重功处理显示图着玩家游戏场景追求游戏员希游戏做越越真实绚丽极推动20年显卡研究发展时发现图计算神网络相似方需量数进行单重复计算样利显卡加速研究员抛弃十年神网络算力爆炸式增长重新焕发出活力深度学开始崛起时候开始神网络方法做风格迁移该领域快速发展总结出果没游戏发展没神网络崛起没风格迁移成熟
第基神网络图风格迁移算法Gatys等两篇文中提出：Texture Synthesis Using Convolutional Neural Networks[2]A Neural Algorithm of Artistic Style[3]第次提出基深度CNN（卷积神网络）图风格迁移图12示
图12 Gatys方法图迁移效果图风格类型
基深度CNN神网络方法相传统非参方法（通采样图素纹理）会更效果特征提取提取底层特征反够提取全局特征Gatys种方法直接迁移图片风格图片进行训练生成生成张风格图片训练次非常消耗时间训练参数进行复生成张重新训练参数
出现许Gatys方法更基深度学图迁移算法：固定风格意容快速风格迁移Perceptual Losses for RealTime Style Transfer and SuperResolution[6]意风格意容快速风格迁移Meta Networks for Neural Style Transfer[7]开始GAN（生成抗网络）生成风格图片pix2pixCycleGAN两种方法 CycleGAN文方法
12 国外研究现状
风格迁移前研究图片纹理生成2000年前统计模型复杂数学公式描述生成图局部纹理特征时间图迁移基神网络实现2015年Gatys等发表A Neural Algorithm of Artistic Style[3]第次提出基深度CNN（卷积神网络）图风格迁移通神网络反传播算法梯度降算法断迭代更新调整参数减少损失终逼结果Gatys种方法生成张图片训练次效率低模型复研究员开始辟蹊径寻找快速方法
2016年Justin Johnson Alexandre Alahi Li FeiFei发表文Perceptual Losses for RealTime Style Transfer and SuperResolution[6]该篇文解决前面Gatys方法风格迁移久问题李飞飞方法gatys样直接图片风格图片起训练先训练前生成网络模型等模型训练完成重复利生成风格图片网络前Gatys方法相巧妙生成图片训练中分开生成模型复训练参数没两种方法生成效果差速度李飞飞Gatys提升数百倍达3数量级毕竟生成张训练次
2018 cvpr篇文Falong Shen等发表Meta Networks for Neural Style Transfer[7]meta转换网络实现风格转换该方法解决前网络转换某种风格缺点里meta网络风格训练出参数
年JunYan Zhu等加州学伯克利分校研究员提出种图风格转换技术CycleGAN取错效果迅速引起许关注CycleGAN基GAN项技术利训练生成器两风格域图相互转换域项技术研究员应领域做图风格转换物体转换等等
风格迁移现代史基深度学书写开始Gatys方法会优化网络参数会优化生成图没复性生成张重新训练次面Johnson解决问题加入转换网络转换网络训练利网络转换图片解决复性耗时问题训练效果差Falong Shen风格转换差更选择方法缺点生成风格图片越越目标风格图反缺失原图细节越越原图基问题利UC berkeley AI研究发明CycleGAN解决利循环致性损失控制生成图原图区结果风格图时会度扭曲CycleGAN基两域非成风格图片训练优点收集图片方便需两域数量定图片集风格迁移学张图学整域图片生成图片风格域均风格
13 文容
正两节写风格迁移算法许胜图风格快速迁移项务会出现原图扭曲容细节丢失问题结果起许错原图已相差甚远解决问题文选择更方法CycleGAN进行风格迁移
文13章先介绍实现CycleGAN然训练模型第4章利训练生成器生成风格图片分析结果（包括生成图片效果losses情况）该结果方法进行总结第五章工作总结
第二章 研究方法原理介绍
21 生成抗网络（GAN）
研究CycleGAN先理解基结构GANCycleGANGAN种拓展
生成抗网络（Generative Adversarial Networks 简称GANs）利卷积神网络等深度学方法进行生成性建模种方法生成式建模机器学中项监督学务涉动发现学输入数中规模式该模型生成原始数集相似新样例
生成抗网络种巧妙训练生成模型方法问题构建包含两子模型监督学问题两子模型分：生成器模型鉴器模型生成器生成假实例鉴器鉴生成器生成实例作分类务分出真假次迭代两子模型会断优化力生成器断生成假乱真实例欺骗鉴器鉴器断真实实例中生成器生成假实例做提高鉴力两模型训练相场零博弈直达纳什均衡时候鉴器鉴出假实例半意味着生成器正生成假乱真例子
211生成器模型（Generator Model）
生成器模型接受固定长度机量作输入然输出域实例张图片量通常高斯分布（常生成噪声源机数种子）中作抽取简言呢量机数数组没意义图东西非生成器模型提供意义条件生成抗网络（cGAN）通训练完高维机量点关联目标生成域某点形成数分布压缩表示称潜空间潜变量组成训练结束生成器模型保存生成目标实例生成器模型结构图21
图21 生成器结构
212鉴器模型（Discriminator Model）
鉴器模型实通常深度学分类模型鉴器目标域中接受例子作输入（真实例子者生成器生成例子）然做分类务预测结果二元标签真（真实例子）假（生成例子）
鉴器模型结构图22
图22 鉴器结构
训练程中生成器感兴趣鉴器模型丢弃鉴器通常外独训练训练生成器时候需重新利回鉴器生成器配合组成复合模型
213生成抗网络结构
生成式建模非监督学务前面已谈然里生成抗网络巧妙处生成式建模变成监督学务两子模型起训练生成器生成目标数相似伪数然提供鉴器做分类务
鉴器轮迭代中提高鉴真伪例子力更重生成器通鉴器辅助提高造伪力换说法生成器生成例子否欺骗鉴器断提高欺骗性
喻：生成器伪币制造者断制造假币鉴器警察断找出假币抓住伪币制造者双方赢场博弈伪币制造者学会果造出假乱真假币警察断提高假币鉴定力
样话两子模型间存博弈关系博弈意义立玩场零游戏零意味着鉴器成功识出真实样虚假样时会奖励模型参数调整生成器会遭惩罚更新量模型参数方面鉴器成功识会惩罚更新量参数生成器会奖励更新参数
某极限生成器生成完美目标域假样鉴器区出生成样真假（假样识率50）正理想情况种情况博弈中纳什均衡生成器定非达极限训练途中输出程情况生成效果判断时停止生成抗网络架构图23
图23 GAN结构
214 GAN原理Loss
先假设分布P_data(x)真实图片集中x理解成量真实图片集中张图片设P_data类量集合分布需生成P_data(x)中分布图片果直接分布够
设分布P_G(xθ)现生成器生成分布θ分布参数控制分布想计算似然P_G(xiθ)xi取真实分布中{x1x2…xm}生成模型中似然L
(1)
生成器概率生成真实图相化似然L似然值估计问题需找θ化似然
找合理θP_G(xθ)作神网络机取量z通G(z)x生成器生成图片x现取组样例z组z符合某分布通G(z)生成分布P_G分布真实分布P_data进行较更新θ
非线性激活函数神网络拟合意函数分布样学复杂分布高斯分布取样训练神网络
GAN贡献提供方法找更接分布面公式：
(2)
公式GD分表示生成器鉴器D(x)表示概率区间01表示真实分布概率显然越接1表示越真实越接0表示越假等式右边第式子意思真实图片概率第二式子生成图片反概率鉴器务值V(GD)意义真实图片判断接1生成图片判断接0生成器相反值意思鉴器犯错真实图片判断远离1生成图片判断远离0生成器鉴器进行场互相拉扯值博弈游戏值公式：
(3)
该公式作神网络loss终会训练出θ参数较生成器
22 GAN应
计算机视觉领域中深度学方法优势项数增广技术数增广模型表现更加包括提高模型轻巧度提供正化影响生成器通生成新工合成相似样模型训练图数说技术原始涉训练数集中现图裁剪翻转缩放简单转换成功生成式建模数扩充提供种选更具体领域方法事实数增广生成式建模简化版少样描述
复杂领域数量限领域生成式建模建模提供更训练
GANs已诸深度强化学等领域例中取成功GANs趣重需求进步研究原Ian Goodfellow2016年会议题相关技术报告NIPS 2016 Tutorial Generative Adversarial Networks[8]中概述中原中强调GANs成功建模高维数处理缺失数力GANs提供模态输出貌似合理答案力GANs引注目应针需生成新示例务条件GANs
里Goodfellow列举三例子图分辨率增强：生成高清图片创造生成艺术：创造新艺术图片素描画作等等图翻译：图域域间转换夏天冬天转换白天黑夜转换等等
GANs广泛研究开发引注目原成功GANs够生成逼真片法分辨出真实生活中存物体场景物力成功说吃惊充分形容词
图24生成脸越越逼真清晰
图24 时期GAN生成脸效果
23 循环致性生成抗网络（CycleGAN）
CycleGANGAN种拓展通常GAN模型包含两模型：生成模型判模型CycleGAN涉4模型：两生成器两判器CycleGAN图图翻译种GAN方法Pix2Pix作图翻译利成数进行训练成数般说难准备甚然CycleGAN项技术非成数集训练准备数较简单需准备两域数量等数
解决前方法图扭曲细节缺失问题CycleGAN引入循环致性（cycle consistency）新概念意思类型a张图片生成器G(AtoB)生成种类型b张b通生成器G(BtoA)转换回类型a否原相似通控制程损失解决细节丢失问题生成图片种类型相似会完全变成张图片保留原特征
a变b变回a顾名思义条循环训练生成器需生成器帮助两生成器起训练训练包含两条循环四模型
CycleGAN架构显然复杂涉4模型模型正常判损失外加循环致性损失建立CycleGAN体传统GAN样生成器鉴器组合实现循环致性损失点复杂
循环致性网络结构图解释图25图26
图25 单CycleGAN（正）域a域b
图26 单CycleGAN（反）域b域a
中方循环致性损失：
l 正循环致性损失（Forword Cycle Consisitency Loss）：
域a数A通G(AtoB)产生^B
^B通G(BtoA)产生^A
较A^A
理反：
l 反循环致性损失（Backword Cycle Consisitency Loss）：
域b数B通G(BtoA)产生^A
^A通G(AtoB)产生^B
较B^B
理解单循环整体CycleGAN理解图出Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]
图27 CycleGAN模型
(a)里面包含两映射函数（生成器）GXàYFYàX鉴器DXDY更规范映射引入两循环致性损失果域转换域转回结果应该原相差（b）正循环致性损失：xàG(x)àF(G(x))≈x（c）逆循环致性损失yàF(y)àG(F(y))≈y
中
XàY判器损失公式：
(4)
理YàX判器损失：
(5)
两生成器循环致性损失加起：
(6)
终网络损失：
(7)
24 CycleGAN应
CycleGAN做出令眼前亮应两域数集网络训练出两域相互转换生成器介绍方应
第风格迁移文务风格迁移指领域学艺术风格（通常绘画）艺术风格应领域（片）说片转换莫奈梵高塞尚浮世绘等风格
第二象转换象转换指类（斑马）转换成类（斑马）具体场景苹果转橘子猫转狗类性变换换脸等等种变形讲通例子两类颜色细节外结构相似
第三季节变换季节变换理类风格迁移吧季节（夏季）拍摄片变换成季节（冬季）理解季节拍摄片风格迁移成季节风格
第四绘画中生成片顾名思义副绘画变成张真实感片实风格迁移逆程CycleGAN风格迁移训练中时进行项绘画转实景工作
第五图增强图增强指某种方式改善原图片提高片景深者提高图分辨率
第三章 研究程
研究学CycleGAN结构原理现着手实现31节分三节分实现鉴器生成器复合模型32节定义实现CycleGAN训练流程算法33节介绍实验条件包括编程语言深度学框架训练机器配置等等34节开始实验
31 CycleGAN实现
311 实现CycleGAN鉴器模型
般鉴器模型接收图片然输出true者false求高分辨率高细节保留图领域中适解决问题里鉴器采PatchGAN实现般鉴器PatchGAN输出N*N矩阵矩阵中输出元素a(ij)truefalsea(ij)实际应着原图中较感受域换句话说元素应着n*n尺寸patch种结构称作PatchGAN说底PatchGAN卷积网络输出矩阵
里鉴器70*70尺寸PatchGAN意味着原图分隔成70*70素图片然训练细节更提取力里70已前探索出较感受域原图70*70感受域应着输出元素模型结构采Conv2D层InstanceNorm层LeakyReLU层 组成层4*4卷积核（filters）2*2跨度（stride）风格迁移中般InstanceNorm作化种化仅加速模型收敛保持图实例间独立LeakyReLU激活函数ReLU变体效果更相sigmoidtanhLeakyReLU梯度降算法时收敛速度更快
结构细节该文附录中记录Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]文鉴器结构：C64C128C256C512层卷积隐藏层原图进行特征提取减尺寸层间LeakyReLU激活函数激活PatchGAN层stride1*1卷积层C512层stride1*1通道数1线性激活输出层
图31 鉴器网络结构
312 实现CycleGAN生成器模型
CycleGAN生成器网络深更处理高分辨率图片更深网络够更提取图片特征着网络深度增加会出现网络退化问题（degradation）性会越越差里网络添加残差网络residual network（ResNet）解决网络退化问题残差网络通建立残差连接优化更容易图图右侧曲箭头链接残差连接残差连接中层网络组合残差块
图32 残差块残差链接
根文附录Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]中配置生成器结构3部分组成：卷积提取特征部分残差网络部分反卷积生成图片部分
卷积提取特征部分3层：c7s164层卷积核7*7stride1*1通道数64卷积层d128层卷积核3*3stride2*2通道数128卷积层d256层卷积核3*3stride2*2通道数256卷积层
残差网络残差块组成模型中9残差块残差块2层2层3*3卷积核1*1stride256通道数
反卷积部分3层：u128层卷积核3*3stride2*2通道数128反卷积层u64卷积核3*3stride2*2通道数64反卷积层 该层已特征放256*256c7s13卷积核7*7stride1*1通道数3卷积层该层卷积遍通道数变3
综生成器模型网络结构：c7s164d128d256r256*9u128u64c7s13图
图32 生成器网络结构
313 实现CycleGAN复合模型
实现CycelGAN复合模型该工作难点涉模型实现生成器模型训练更新权值需鉴器配合更新般GAN生成器做法里CycleGAN点复杂更新生成器权值仅仅鉴器配合需生成器配合三模型组合成复合模型（两生成器鉴器）
复合模型涉4损失：抗损失（Adversarial loss） 性损失（Identity loss）前循环损失（ Forward cycle loss）反循环损失（ Backward cycle loss）
抗损失般生成抗模型样判断图片否转换目标域风格损失通常L2损失者均方差（mse）
性损失通目标风格域图片送生成器否变化否原图片相差变化越越损失保证生成器量改变形状改变特征
前反损失第二章图25图26描绘形象源图通生成器生成图通生成器生成回原域风格图片判断图片否原域风格样面三损失均绝误差（mae）
复合模型结构复杂作图出非常面文字加箭头代结构图分讲述复合模型损失结构
中：GAtoB（A域生成B域）表示生成器A2BGBtoA（B域生成A域）表示生成器B2ADADB分表示鉴器ABDomainAB分表示AB域
GAtoB复合模型：
Adversarial loss Domain A à GAtoB à Domain B à DB à [realfake]
Identity loss Domain B à GAtoB à Domain B
Forward Cycle loss Domain A à GAtoB à Domain B à GBtoA à Domain A
Backward Cycle loss Domain B à GBtoA à Domain A à GAtoB à Domain B
GBtoA复合模型：
Adversarial loss Domain B à GBtoA à Domain A à DA à [realfake]
Identity loss Domain A à GBtoA à Domain A
Forward Cycle loss Domain B à GBtoA à Domain A à GAtoB à Domain B
Backward Cycle loss Domain A à GAtoB à Domain B à GBtoA à Domain A
32 训练流程算法
训练CycleGAN部分模型已实现接利面实现模型设计实现训练流程算法更新模型权值
首先训练模型需数方面真实图片集数方面生成器生成数里定义两函数：generate_real_samples()真实图片集中提取图片generate_fake_samples()利生成器生成风格图片
接着定义单次迭代训练逻辑里设计成先训练正循环训练循环先训练生成器A2B鉴器B训练生成器B2A鉴器A利train_on_batch()函数实现单次迭代训练次迭代模型训练序：
1 训练更新 生成器A2B
2 训练更新 鉴器B
3 训练更新 生成器B2A
4 训练更新 鉴器A
需确定迭代总次数n_stepsn_stept值推算出：训练轮数n_epochs单次训练批n_batch轮训练批数bat_per_epo轮训练指训练集全部训练次bat_per_epo指轮训练总迭代次数 训练集 单次训练批总迭代次数单轮迭代数轮数n_stept bar_per_epo * n_epoch训练时印次迭代loss隔1轮生成保存张图片作面分析隔5轮保存遍模型
Cyclegan训练算法伪代码：
算法1：CycleGAN训练流程算法
输入：鉴器模型A鉴器模型B生成器模型A2B生成器模型B2A复合模型A2B复合模型B2AAB域数集
输出：
for 总迭代次数n_stept do
真实数集中产生训练数批generate_real_samples()
利数批通生成器生成伪数（生成图片）generate_fake_samples()
训练更新复合模型A2B权值train_on_batch()
训练更新鉴器模型B权值train_on_batch()
训练更新复合模型B2A权值train_on_batch()
训练更新鉴器模型A权值train_on_batch()
输出模型loss
if 迭代次数1轮次数 then
生成图片保存
end if
if迭代次数5轮次数 then
保存模型
end if
end for
33 实验条件
开发代码条件算高般笔记胜模型训练流程均python语言编写代码编辑器pycharmjupyter notebook网络模型利pythontensorflowkeras框架进行搭建
训练条件实验难点训练深度学模型需高运算资源长训练时间运算资源指高性GPU资源存电脑没资源完成实验训练月结束快完成实验寻寻觅觅方法权衡济效率选择淘宝租卖家深度学机远程操控然价格昂贵租阿里云淘宝便宜太需50元天卖家机已配置环境算中途出现什配置问题卖家技术员讨解决
机配置：
系统：Ubuntu 1604
CPU：Intel E52689@260GHz八核
存：32G
存储空间：2T
GPU：Nvidia RTX2080Ti 11G显存
更快完成务租两台样配置机前时8天训练完务模型
34 实验程
进行风格迁移实验前首先准备数集基CycleGAN风格迁移需非成两数域需准备份风格图片数集份然景观图片数集通网络开源图片集收集种风格图片：梵高莫奈塞尚浮世绘图
图33 4种绘画风格
里作拓展创新收集整理3种中国风：齐白石唐寅山水画图
图34 3种中国风绘画风格
然风景图片
图35 然景观图片集例子
整理图片开始训练通ssh远程连接控制linux机利机已配置jupyter notebook进行实验该软件方便浏览器开发代码运行代码传载文件图36代码复制浏览器中接着进行模型训练
图36 jupyter notebook页面
jupyter代码编辑界面编辑图片区路径开始运行代码训练轮数100epoch实时解训练情况轮训练完输出生成图片展示训练程效果次迭代输出模型loss实时监视模型情况（图37）果出现模型坍塌时发现时重开5轮保存遍生成器模型供挑选出生成器
图37 训练程loss情况
训练结束生成程图片中评选出生成器该生成器生成风格图片图梵高风格生成器生成风格图片更风格图片请见附录
图38 梵高风格迁移效果图
运样模型配置做3图翻译务作拓展创新：夏天变冬天马变斑马橘子变苹果效果图更转换效果见附录
图39 相似物体风格互换
第四章 实验结果讨分析
41 风格图片效果分析
实验结果生成图片结果进行分析简单直接肉眼结果否达求否较转换效果
风格图片效果否肉眼判断观通肉眼基方面生成图进行评分里定义5分制：01分：图模糊损坏2分：图完整风格明显转换3分：图完整风格较明显转换4分：图完整风格转换明显5分：图完整风格转换明显美观分数应效果（出种分数应图片作参考）
图41 分示例图
训练时5轮epoch保存次模型该生成器生成程图片供评估务20生成器（7风格迁移务总140模型）务模型分情况表
表41 7绘画风格迁移模型评分表
模型编号
梵高
莫奈
塞尚
浮世绘
齐白石
唐寅
山水画
1
35
35
35
4
35
2
3
2
35
2
35
45
35
2
0
3
3
45
3
3
4
4
35
4
4
4
3
0
3
4
25
5
2
35
4
45
2
4
35
6
3
4
25
45
0
2
4
7
3
35
3
45
2
4
35
8
3
45
4
5
0
4
3
9
4
4
35
5
0
45
2
10
4
4
4
5
1
45
2
11
4
3
4
4
0
45
2
12
35
3
5
4
0
3
2
13
3
3
5
45
0
55
2
14
35
4
2
5
0
5
2
15
4
37
3
5
0
3
2
16
45
35
3
45
0
45
2
17
4
3
4
45
0
45
2
18
3
35
4
4
0
45
2
19
45
3
38
4
0
4
2
20
45
35
48
3
0
45
2
表中加粗分值选出较错模型生成风格图片
出分数规律越训练面肉眼效果越样训练已训练出足够效果错生成器外齐白石山水画效果图片数缺乏导致两风格网络画作资源足齐白石收集27张山水画收集31张
利样训练评分方法拓展3象转换务生成器进行分里模型双6模型3AtoB3BtoA分情况表
表42 3相似物体风格互换模型评分表
夏转冬
马斑马
苹果橘子
模型编号
A2B
B2A
A2B
B2A
A2B
B2A
1
2
2
0
0
3
2
2
3
4
0
0
3
1
3
3
2
2
2
2
0
4
37
2
2
1
2
0
5
37
3
0
25
1
2
6
37
2
2
3
1
25
7
37
4
3
35
2
2
8
3
4
3
2
2
3
9
2
35
4
2
3
25
10
2
37
4
1
3
3
11
37
3
35
1
1
2
12
3
3
25
1
1
3
13
35
2
2
2
2
3
14
35
4
2
35
2
35
15
2
35
4
3
2
0
16
2
3
35
35
3
1
17
2
37
35
25
25
2
18
3
37
2
2
3
25
19
4
4
0
0
25
25
20
4
3
0
2
28
35
42 模型损失分析
分析实验结果较客观方法观察模型训练程损失变化训练途中模型训练损失已记录作成折线图图4(23456)示分务losses折线图（10务包括风格迁移象）
中g_loss1表示生成器GAtoB损失g_loss2表示生成器GBtoA损失两属复合生成器模型损失复合模型损失313节中述4损失组成：抗损失性损失前反损失损失越生成器模型越表明生成图片越风格图片保留原图片细节越
dA_loss1dA_loss2表示鉴器A分真实图片A生成图片A损失理dB_loss1dB_loss2表示鉴器B分真实图片B生成图片B损失损失越鉴器越表明越更区分出真实图片生成图片
图42 梵高莫奈风格务losses
图43 塞尚浮世绘风格务losses
图44 齐白石唐寅风格务losses
图45 山水风格苹果橘子互换务losses
图46斑马马互换夏冬互换务losses
losses图中出100轮epoch训练务鉴器loss非常快降低基005间摇摆出鉴器效果容易训练
务生成器loss约40轮epoch降较低40100轮epochloss24间摇摆降趋势出训练100轮训练出错生成器loss降说明实验改进空间增训练轮数单纯增加训练次数训练参数进行修改
…We train our networks from scratch with a learning rate of 00002 In practice we divide the objective by 2 while optimizing D which slows down the rate at which D learns relative to the rate of G We keep the same learning rate for the first 100 epochs and linearly decay the rate to zero over the next 100 epochs Weights are initialized from a Gaussian distribution N (0 002)
Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks 2017
根篇文做法：训练200轮前100轮epoch中保持变学率（正现作）然面100轮epoch中学率逐渐衰减0种做法会模型loss降更低
实验资源限（时间金钱）难做200轮训练前100轮训练中已训练出风格迁移较生成器
43 风格迁移方法较
第章中已介绍风格迁移历史基神网络风格迁移方法非神网络方法说没性里神网络方法进行较方法256*256图进行风格迁移里调查3维度评估方法：生成速度美观度图片数迁移风格数（）查阅应方法文献面整理出方法情况
表43 文方法方法较
生成张图片均时间
处理图片生成风格数
Gatys方法
952s
李飞飞方法
0015s
Falong Shen方法
0015s
文CycleGAN
0015s
gatys方法生成图片训练次导致快速生成图片3方法利训练生成器生成速度快生成张图片少05s时生成张风格图
前三种方法理风格效果差起挺奇幻已缺失原图细节图已扭曲文方法够保持原图细节时接风格图图47
图47 梵高风格方法风格迁移效果
出文方法更保留原图细节梵高油画风格
文方法3种方法样张风格图片训练利该风格图片集图片生成图片会某张图该风格图片集均外貌风格图前3方法迁移效果梵高星月夜样称图变换风格迁移真正风格迁移应该文方法学数集图片均风格然迁移
总结文方法作风格迁移优缺点优点：速度快生成张风格图片生成图片保留原细节生成图片外貌会单化风格均外貌缺点：模型训练时间长时生成风格
第五章 总结展
51 工作总结
次毕设工作利CycleGAN种生成抗网络做图风格快速迁移选择项技术前查阅做风格迁移技术领域中方法利弊选择项技术方法处解决问题方面生成风格图片快方面迁移图会缺失原细节
通断查阅学CycleGAN相关文献书籍第章中交代风格迁移历史背景研究容第二章中讲述GANCycleGAN原理应第三章中讲述实现CycleGAN模型训练算法第四章中结果进行分析方法进行
次工作中遇许困难做深度学资料文献书籍较少般全英着时英语基础翻译软件慢慢搞懂项工作原理编写代码挺复杂需掌握深度学框架点点学会编写代码运行代码训练模型阶段时候更愈发艰难CycleGAN模型训练4子模型开始利学校学高配置电脑运行应该够没想训练龟速进行寻寻觅觅找淘宝卖家远程机租两台深度学机GPUNvidia RTX2080Ti停停走走训练8天终跑完程序
52 续工作展
CycleGAN身许足组改进文献提供改进思路模型终效果原结构效果提升续学方法优化里100轮epoch达效果果CycleGAN原文献做法学率衰减外出100轮epoch训练效果更需量运算资源时间实现原文献训练模型时投喂图片操作机选择图片里采样方法样保证图片训练果写图片生成器图片迭代遍张图片训练效果会错
改进原工作续玩图片翻译应CycleGAN实现换脸黑白图转彩色图卫星遥感图转图风格图片某物品图片中添加某物品修复相片图片增强等等等等属图片图片翻译工作CycleGAN（需非成数）实现Pix2Pix（需成数难获取效果更）实现然翻译图片翻译视频行确现视频风格进行转换工作视频中物进行换脸黑白影片转彩色等等果迁移效果够迅速做成视频实时风格转换完成新颖应单纯CycleGAN需外技术
参考文献
[1]Javier Portilla Eero P Simoncelli A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients[J] International Journal of Computer Vision 2000 Vol40 (1) 4970
[2]L A Gatys A S Ecker M Bethge Texture synthesis using convolutional neural networks[J] International Conference on Neural Information Processing Systems MIT Press 2015 262270
[3]L A Gatys A S Ecker and M Bethge A Neural Algorithm of Artistic Style[J] Computer Science 2015
[4]L A Gatys A S Ecker and M Bethge Image style transfer using convolutional neural networks[J] CVPR 2016
[5]L A Gatys M Bethge A Hertzmann and E Shechtman Preserving color in neural artistic style transfer[Z] arXiv preprint arXiv160605897 2016
[6]Justin Johnson Alexandre Alahi Li FeiFei Perceptual Losses for RealTime Style Transfer and SuperResolution[Z] arXiv preprint arXiv160308155v1 2016
[7]Falong Shen Shuicheng Yan Gang Zeng Meta Networks for Neural Style Transfer[Z] arXiv preprint arXiv170904111v1 2017
[8]I Goodfellow J PougetAbadie M Mirza B Xu D WardeFarley S Ozair A Courville and Y Bengio Generative adversarial networks[J] In NIPS 2016
[9]J Zhu T Park P Isola A A Efros Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[Z] arXiv170310593v4 2318
[10]冼宇乔 谢瑞麟 基CycleGAN艺术风格迁移[Z] 中山学2018
[11]彭鹏 基CycleGAN图风格转换[D] 电子科技学2019
附录
更风格迁移效果：
梵高莫奈塞尚浮世绘风格
中国风：齐白石唐寅山水水墨画
更图翻译应（象转换）效果：
夏天冬天互换
马斑马互换
苹果橘子互换
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
基生成抗神网络图风格快速迁移
Fast Image Style Transfer Based on Generative Adversarial Networks
摘
现科研娱乐图片视频处理需求越越需更处理图片视频应图风格迁移图风格迁移领域类难快速学某种图片风格利力专门软件处理图片耗时间需动化快速迁移方法
文实现图风格进行快速风格迁移应针传统图迁移方法迁移速度慢复性弱缺点里种更新型神网络方法——循环致性生成抗网络（CycleConsistent Generative Adversarial Networks CycleGAN）编写代码实现CycleGAN中鉴器生成器通神网络迭代训练训练出进行图风格迁移生成器利项技术文训练出7风格迁移生成器分：梵高莫奈塞尚浮世绘齐白石唐寅山水画实现片风格迁移文实现两相似物体间风格互换3种：马斑马互转夏季冬季互转苹果橘子互转
关键词： 图风格迁移快速迁移CycleGAN生成抗网络鉴器生成器
Abstract
Nowadays whether it is for scientific research or entertainment people have an increasing demand for image and video processing so more and more applications of image and video processing are needed such as image style transfer In the field of image style transfer it is difficult for human beings to learn a certain image style quickly and it takes time to process images on specialized software with human beings so people need a fast method of migration that can be automated
This paper mainly realizes an application of fast style migration of image style Image migration method for traditional migration speed slow problem of weak reusability here USES a new type of neural network method more consistency loop generated against network (Cycle Consistent Generative Adversarial Networks CycleGAN) After coding the discriminator and generator in CycleGAN the generator for image style transfer can be trained through the iterative training of neural network Using this technique this paper has trained seven style transfer generators namely van gogh monet Cezanne ukiyoe qi baishi tang Yin landscape painting In addition to the transfer of photo styles this paper also realizes the style exchange between two similar objects There are three kinds the horse turns with the zebra the summer turns with the winter the apple turns with the orange
Key words Image style transfer Rapid migration CycleGAN Generating antagonistic network Discriminator The generator
目录
第章 绪 1
11 研究背景 1
12 国外研究现状 3
13 文容 4
第二章 研究方法原理介绍 5
21 生成抗网络（GAN） 5
211生成器模型（Generator Model） 5
212鉴器模型（Discriminator Model） 6
213生成抗网络结构 7
214 GAN原理Loss 8
22 GAN应 9
23 循环致性生成抗网络（CycleGAN） 10
24 CycleGAN应 13
第三章 研究程 14
31 CycleGAN实现 14
311 实现CycleGAN鉴器模型 14
312 实现CycleGAN生成器模型 15
313 实现CycleGAN复合模型 17
32 训练流程算法 18
33 实验条件 19
34 实验程 20
第四章 实验结果讨分析 24
41 风格图片效果分析 24
42 模型损失分析 26
43 风格迁移方法较 28
第五章 总结展 31
51 工作总结 31
52 续工作展 31
参考文献 33
附录 34
致谢 40
第章 绪
11 研究背景
想象果19世纪荷兰画家梵高校园画幅画脑海中者绘画风格校园风景会呈现样效果？然梵高会复活没强想象力衍生出项应——图风格迁移
图风格迁移(Style Transfer)顾名思义种图片风格转换成种图片风格图片风格图11张图艺术风格计算机理解风格什困难更说图风格变成种风格
图11 3种图片风格
想计算机理解图片风格什科学家做努力2000年前时间时候没图迁移图片纹理研究20002015年间图纹理手动建模A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients[1]中重思想：纹理图局部特征统计模型描述思想通复杂数学公式模型科学家整理生成纹理手动建模耗费时间
纹理生成生成纹理样纹理生成文图风格迁移时没准确划分出领域名称没时风格迁移研究中风格算法互相间没点独立例油画风格迁移七步骤抽取迁移油画特征例子头风格迁移三步骤头风格样式迁移样式十步骤发展没点
风格迁移发展背游戏功劳游戏机刚发明初离开显卡显卡重功处理显示图着玩家游戏场景追求游戏员希游戏做越越真实绚丽极推动20年显卡研究发展时发现图计算神网络相似方需量数进行单重复计算样利显卡加速研究员抛弃十年神网络算力爆炸式增长重新焕发出活力深度学开始崛起时候开始神网络方法做风格迁移该领域快速发展总结出果没游戏发展没神网络崛起没风格迁移成熟
第基神网络图风格迁移算法Gatys等两篇文中提出：Texture Synthesis Using Convolutional Neural Networks[2]A Neural Algorithm of Artistic Style[3]第次提出基深度CNN（卷积神网络）图风格迁移图12示
图12 Gatys方法图迁移效果图风格类型
基深度CNN神网络方法相传统非参方法（通采样图素纹理）会更效果特征提取提取底层特征反够提取全局特征Gatys种方法直接迁移图片风格图片进行训练生成生成张风格图片训练次非常消耗时间训练参数进行复生成张重新训练参数
出现许Gatys方法更基深度学图迁移算法：固定风格意容快速风格迁移Perceptual Losses for RealTime Style Transfer and SuperResolution[6]意风格意容快速风格迁移Meta Networks for Neural Style Transfer[7]开始GAN（生成抗网络）生成风格图片pix2pixCycleGAN两种方法 CycleGAN文方法
12 国外研究现状
风格迁移前研究图片纹理生成2000年前统计模型复杂数学公式描述生成图局部纹理特征时间图迁移基神网络实现2015年Gatys等发表A Neural Algorithm of Artistic Style[3]第次提出基深度CNN（卷积神网络）图风格迁移通神网络反传播算法梯度降算法断迭代更新调整参数减少损失终逼结果Gatys种方法生成张图片训练次效率低模型复研究员开始辟蹊径寻找快速方法
2016年Justin Johnson Alexandre Alahi Li FeiFei发表文Perceptual Losses for RealTime Style Transfer and SuperResolution[6]该篇文解决前面Gatys方法风格迁移久问题李飞飞方法gatys样直接图片风格图片起训练先训练前生成网络模型等模型训练完成重复利生成风格图片网络前Gatys方法相巧妙生成图片训练中分开生成模型复训练参数没两种方法生成效果差速度李飞飞Gatys提升数百倍达3数量级毕竟生成张训练次
2018 cvpr篇文Falong Shen等发表Meta Networks for Neural Style Transfer[7]meta转换网络实现风格转换该方法解决前网络转换某种风格缺点里meta网络风格训练出参数
年JunYan Zhu等加州学伯克利分校研究员提出种图风格转换技术CycleGAN取错效果迅速引起许关注CycleGAN基GAN项技术利训练生成器两风格域图相互转换域项技术研究员应领域做图风格转换物体转换等等
风格迁移现代史基深度学书写开始Gatys方法会优化网络参数会优化生成图没复性生成张重新训练次面Johnson解决问题加入转换网络转换网络训练利网络转换图片解决复性耗时问题训练效果差Falong Shen风格转换差更选择方法缺点生成风格图片越越目标风格图反缺失原图细节越越原图基问题利UC berkeley AI研究发明CycleGAN解决利循环致性损失控制生成图原图区结果风格图时会度扭曲CycleGAN基两域非成风格图片训练优点收集图片方便需两域数量定图片集风格迁移学张图学整域图片生成图片风格域均风格
13 文容
正两节写风格迁移算法许胜图风格快速迁移项务会出现原图扭曲容细节丢失问题结果起许错原图已相差甚远解决问题文选择更方法CycleGAN进行风格迁移
文13章先介绍实现CycleGAN然训练模型第4章利训练生成器生成风格图片分析结果（包括生成图片效果losses情况）该结果方法进行总结第五章工作总结
第二章 研究方法原理介绍
21 生成抗网络（GAN）
研究CycleGAN先理解基结构GANCycleGANGAN种拓展
生成抗网络（Generative Adversarial Networks 简称GANs）利卷积神网络等深度学方法进行生成性建模种方法生成式建模机器学中项监督学务涉动发现学输入数中规模式该模型生成原始数集相似新样例
生成抗网络种巧妙训练生成模型方法问题构建包含两子模型监督学问题两子模型分：生成器模型鉴器模型生成器生成假实例鉴器鉴生成器生成实例作分类务分出真假次迭代两子模型会断优化力生成器断生成假乱真实例欺骗鉴器鉴器断真实实例中生成器生成假实例做提高鉴力两模型训练相场零博弈直达纳什均衡时候鉴器鉴出假实例半意味着生成器正生成假乱真例子
211生成器模型（Generator Model）
生成器模型接受固定长度机量作输入然输出域实例张图片量通常高斯分布（常生成噪声源机数种子）中作抽取简言呢量机数数组没意义图东西非生成器模型提供意义条件生成抗网络（cGAN）通训练完高维机量点关联目标生成域某点形成数分布压缩表示称潜空间潜变量组成训练结束生成器模型保存生成目标实例生成器模型结构图21
图21 生成器结构
212鉴器模型（Discriminator Model）
鉴器模型实通常深度学分类模型鉴器目标域中接受例子作输入（真实例子者生成器生成例子）然做分类务预测结果二元标签真（真实例子）假（生成例子）
鉴器模型结构图22
图22 鉴器结构
训练程中生成器感兴趣鉴器模型丢弃鉴器通常外独训练训练生成器时候需重新利回鉴器生成器配合组成复合模型
213生成抗网络结构
生成式建模非监督学务前面已谈然里生成抗网络巧妙处生成式建模变成监督学务两子模型起训练生成器生成目标数相似伪数然提供鉴器做分类务
鉴器轮迭代中提高鉴真伪例子力更重生成器通鉴器辅助提高造伪力换说法生成器生成例子否欺骗鉴器断提高欺骗性
喻：生成器伪币制造者断制造假币鉴器警察断找出假币抓住伪币制造者双方赢场博弈伪币制造者学会果造出假乱真假币警察断提高假币鉴定力
样话两子模型间存博弈关系博弈意义立玩场零游戏零意味着鉴器成功识出真实样虚假样时会奖励模型参数调整生成器会遭惩罚更新量模型参数方面鉴器成功识会惩罚更新量参数生成器会奖励更新参数
某极限生成器生成完美目标域假样鉴器区出生成样真假（假样识率50）正理想情况种情况博弈中纳什均衡生成器定非达极限训练途中输出程情况生成效果判断时停止生成抗网络架构图23
图23 GAN结构
214 GAN原理Loss
先假设分布P_data(x)真实图片集中x理解成量真实图片集中张图片设P_data类量集合分布需生成P_data(x)中分布图片果直接分布够
设分布P_G(xθ)现生成器生成分布θ分布参数控制分布想计算似然P_G(xiθ)xi取真实分布中{x1x2…xm}生成模型中似然L
(1)
生成器概率生成真实图相化似然L似然值估计问题需找θ化似然
找合理θP_G(xθ)作神网络机取量z通G(z)x生成器生成图片x现取组样例z组z符合某分布通G(z)生成分布P_G分布真实分布P_data进行较更新θ
非线性激活函数神网络拟合意函数分布样学复杂分布高斯分布取样训练神网络
GAN贡献提供方法找更接分布面公式：
(2)
公式GD分表示生成器鉴器D(x)表示概率区间01表示真实分布概率显然越接1表示越真实越接0表示越假等式右边第式子意思真实图片概率第二式子生成图片反概率鉴器务值V(GD)意义真实图片判断接1生成图片判断接0生成器相反值意思鉴器犯错真实图片判断远离1生成图片判断远离0生成器鉴器进行场互相拉扯值博弈游戏值公式：
(3)
该公式作神网络loss终会训练出θ参数较生成器
22 GAN应
计算机视觉领域中深度学方法优势项数增广技术数增广模型表现更加包括提高模型轻巧度提供正化影响生成器通生成新工合成相似样模型训练图数说技术原始涉训练数集中现图裁剪翻转缩放简单转换成功生成式建模数扩充提供种选更具体领域方法事实数增广生成式建模简化版少样描述
复杂领域数量限领域生成式建模建模提供更训练
GANs已诸深度强化学等领域例中取成功GANs趣重需求进步研究原Ian Goodfellow2016年会议题相关技术报告NIPS 2016 Tutorial Generative Adversarial Networks[8]中概述中原中强调GANs成功建模高维数处理缺失数力GANs提供模态输出貌似合理答案力GANs引注目应针需生成新示例务条件GANs
里Goodfellow列举三例子图分辨率增强：生成高清图片创造生成艺术：创造新艺术图片素描画作等等图翻译：图域域间转换夏天冬天转换白天黑夜转换等等
GANs广泛研究开发引注目原成功GANs够生成逼真片法分辨出真实生活中存物体场景物力成功说吃惊充分形容词
图24生成脸越越逼真清晰
图24 时期GAN生成脸效果
23 循环致性生成抗网络（CycleGAN）
CycleGANGAN种拓展通常GAN模型包含两模型：生成模型判模型CycleGAN涉4模型：两生成器两判器CycleGAN图图翻译种GAN方法Pix2Pix作图翻译利成数进行训练成数般说难准备甚然CycleGAN项技术非成数集训练准备数较简单需准备两域数量等数
解决前方法图扭曲细节缺失问题CycleGAN引入循环致性（cycle consistency）新概念意思类型a张图片生成器G(AtoB)生成种类型b张b通生成器G(BtoA)转换回类型a否原相似通控制程损失解决细节丢失问题生成图片种类型相似会完全变成张图片保留原特征
a变b变回a顾名思义条循环训练生成器需生成器帮助两生成器起训练训练包含两条循环四模型
CycleGAN架构显然复杂涉4模型模型正常判损失外加循环致性损失建立CycleGAN体传统GAN样生成器鉴器组合实现循环致性损失点复杂
循环致性网络结构图解释图25图26
图25 单CycleGAN（正）域a域b
图26 单CycleGAN（反）域b域a
中方循环致性损失：
l 正循环致性损失（Forword Cycle Consisitency Loss）：
域a数A通G(AtoB)产生^B
^B通G(BtoA)产生^A
较A^A
理反：
l 反循环致性损失（Backword Cycle Consisitency Loss）：
域b数B通G(BtoA)产生^A
^A通G(AtoB)产生^B
较B^B
理解单循环整体CycleGAN理解图出Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]
图27 CycleGAN模型
(a)里面包含两映射函数（生成器）GXàYFYàX鉴器DXDY更规范映射引入两循环致性损失果域转换域转回结果应该原相差（b）正循环致性损失：xàG(x)àF(G(x))≈x（c）逆循环致性损失yàF(y)àG(F(y))≈y
中
XàY判器损失公式：
(4)
理YàX判器损失：
(5)
两生成器循环致性损失加起：
(6)
终网络损失：
(7)
24 CycleGAN应
CycleGAN做出令眼前亮应两域数集网络训练出两域相互转换生成器介绍方应
第风格迁移文务风格迁移指领域学艺术风格（通常绘画）艺术风格应领域（片）说片转换莫奈梵高塞尚浮世绘等风格
第二象转换象转换指类（斑马）转换成类（斑马）具体场景苹果转橘子猫转狗类性变换换脸等等种变形讲通例子两类颜色细节外结构相似
第三季节变换季节变换理类风格迁移吧季节（夏季）拍摄片变换成季节（冬季）理解季节拍摄片风格迁移成季节风格
第四绘画中生成片顾名思义副绘画变成张真实感片实风格迁移逆程CycleGAN风格迁移训练中时进行项绘画转实景工作
第五图增强图增强指某种方式改善原图片提高片景深者提高图分辨率
第三章 研究程
研究学CycleGAN结构原理现着手实现31节分三节分实现鉴器生成器复合模型32节定义实现CycleGAN训练流程算法33节介绍实验条件包括编程语言深度学框架训练机器配置等等34节开始实验
31 CycleGAN实现
311 实现CycleGAN鉴器模型
般鉴器模型接收图片然输出true者false求高分辨率高细节保留图领域中适解决问题里鉴器采PatchGAN实现般鉴器PatchGAN输出N*N矩阵矩阵中输出元素a(ij)truefalsea(ij)实际应着原图中较感受域换句话说元素应着n*n尺寸patch种结构称作PatchGAN说底PatchGAN卷积网络输出矩阵
里鉴器70*70尺寸PatchGAN意味着原图分隔成70*70素图片然训练细节更提取力里70已前探索出较感受域原图70*70感受域应着输出元素模型结构采Conv2D层InstanceNorm层LeakyReLU层 组成层4*4卷积核（filters）2*2跨度（stride）风格迁移中般InstanceNorm作化种化仅加速模型收敛保持图实例间独立LeakyReLU激活函数ReLU变体效果更相sigmoidtanhLeakyReLU梯度降算法时收敛速度更快
结构细节该文附录中记录Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]文鉴器结构：C64C128C256C512层卷积隐藏层原图进行特征提取减尺寸层间LeakyReLU激活函数激活PatchGAN层stride1*1卷积层C512层stride1*1通道数1线性激活输出层
图31 鉴器网络结构
312 实现CycleGAN生成器模型
CycleGAN生成器网络深更处理高分辨率图片更深网络够更提取图片特征着网络深度增加会出现网络退化问题（degradation）性会越越差里网络添加残差网络residual network（ResNet）解决网络退化问题残差网络通建立残差连接优化更容易图图右侧曲箭头链接残差连接残差连接中层网络组合残差块
图32 残差块残差链接
根文附录Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[9]中配置生成器结构3部分组成：卷积提取特征部分残差网络部分反卷积生成图片部分
卷积提取特征部分3层：c7s164层卷积核7*7stride1*1通道数64卷积层d128层卷积核3*3stride2*2通道数128卷积层d256层卷积核3*3stride2*2通道数256卷积层
残差网络残差块组成模型中9残差块残差块2层2层3*3卷积核1*1stride256通道数
反卷积部分3层：u128层卷积核3*3stride2*2通道数128反卷积层u64卷积核3*3stride2*2通道数64反卷积层 该层已特征放256*256c7s13卷积核7*7stride1*1通道数3卷积层该层卷积遍通道数变3
综生成器模型网络结构：c7s164d128d256r256*9u128u64c7s13图
图32 生成器网络结构
313 实现CycleGAN复合模型
实现CycelGAN复合模型该工作难点涉模型实现生成器模型训练更新权值需鉴器配合更新般GAN生成器做法里CycleGAN点复杂更新生成器权值仅仅鉴器配合需生成器配合三模型组合成复合模型（两生成器鉴器）
复合模型涉4损失：抗损失（Adversarial loss） 性损失（Identity loss）前循环损失（ Forward cycle loss）反循环损失（ Backward cycle loss）
抗损失般生成抗模型样判断图片否转换目标域风格损失通常L2损失者均方差（mse）
性损失通目标风格域图片送生成器否变化否原图片相差变化越越损失保证生成器量改变形状改变特征
前反损失第二章图25图26描绘形象源图通生成器生成图通生成器生成回原域风格图片判断图片否原域风格样面三损失均绝误差（mae）
复合模型结构复杂作图出非常面文字加箭头代结构图分讲述复合模型损失结构
中：GAtoB（A域生成B域）表示生成器A2BGBtoA（B域生成A域）表示生成器B2ADADB分表示鉴器ABDomainAB分表示AB域
GAtoB复合模型：
Adversarial loss Domain A à GAtoB à Domain B à DB à [realfake]
Identity loss Domain B à GAtoB à Domain B
Forward Cycle loss Domain A à GAtoB à Domain B à GBtoA à Domain A
Backward Cycle loss Domain B à GBtoA à Domain A à GAtoB à Domain B
GBtoA复合模型：
Adversarial loss Domain B à GBtoA à Domain A à DA à [realfake]
Identity loss Domain A à GBtoA à Domain A
Forward Cycle loss Domain B à GBtoA à Domain A à GAtoB à Domain B
Backward Cycle loss Domain A à GAtoB à Domain B à GBtoA à Domain A
32 训练流程算法
训练CycleGAN部分模型已实现接利面实现模型设计实现训练流程算法更新模型权值
首先训练模型需数方面真实图片集数方面生成器生成数里定义两函数：generate_real_samples()真实图片集中提取图片generate_fake_samples()利生成器生成风格图片
接着定义单次迭代训练逻辑里设计成先训练正循环训练循环先训练生成器A2B鉴器B训练生成器B2A鉴器A利train_on_batch()函数实现单次迭代训练次迭代模型训练序：
1 训练更新 生成器A2B
2 训练更新 鉴器B
3 训练更新 生成器B2A
4 训练更新 鉴器A
需确定迭代总次数n_stepsn_stept值推算出：训练轮数n_epochs单次训练批n_batch轮训练批数bat_per_epo轮训练指训练集全部训练次bat_per_epo指轮训练总迭代次数 训练集 单次训练批总迭代次数单轮迭代数轮数n_stept bar_per_epo * n_epoch训练时印次迭代loss隔1轮生成保存张图片作面分析隔5轮保存遍模型
Cyclegan训练算法伪代码：
算法1：CycleGAN训练流程算法
输入：鉴器模型A鉴器模型B生成器模型A2B生成器模型B2A复合模型A2B复合模型B2AAB域数集
输出：
for 总迭代次数n_stept do
真实数集中产生训练数批generate_real_samples()
利数批通生成器生成伪数（生成图片）generate_fake_samples()
训练更新复合模型A2B权值train_on_batch()
训练更新鉴器模型B权值train_on_batch()
训练更新复合模型B2A权值train_on_batch()
训练更新鉴器模型A权值train_on_batch()
输出模型loss
if 迭代次数1轮次数 then
生成图片保存
end if
if迭代次数5轮次数 then
保存模型
end if
end for
33 实验条件
开发代码条件算高般笔记胜模型训练流程均python语言编写代码编辑器pycharmjupyter notebook网络模型利pythontensorflowkeras框架进行搭建
训练条件实验难点训练深度学模型需高运算资源长训练时间运算资源指高性GPU资源存电脑没资源完成实验训练月结束快完成实验寻寻觅觅方法权衡济效率选择淘宝租卖家深度学机远程操控然价格昂贵租阿里云淘宝便宜太需50元天卖家机已配置环境算中途出现什配置问题卖家技术员讨解决
机配置：
系统：Ubuntu 1604
CPU：Intel E52689@260GHz八核
存：32G
存储空间：2T
GPU：Nvidia RTX2080Ti 11G显存
更快完成务租两台样配置机前时8天训练完务模型
34 实验程
进行风格迁移实验前首先准备数集基CycleGAN风格迁移需非成两数域需准备份风格图片数集份然景观图片数集通网络开源图片集收集种风格图片：梵高莫奈塞尚浮世绘图
图33 4种绘画风格
里作拓展创新收集整理3种中国风：齐白石唐寅山水画图
图34 3种中国风绘画风格
然风景图片
图35 然景观图片集例子
整理图片开始训练通ssh远程连接控制linux机利机已配置jupyter notebook进行实验该软件方便浏览器开发代码运行代码传载文件图36代码复制浏览器中接着进行模型训练
图36 jupyter notebook页面
jupyter代码编辑界面编辑图片区路径开始运行代码训练轮数100epoch实时解训练情况轮训练完输出生成图片展示训练程效果次迭代输出模型loss实时监视模型情况（图37）果出现模型坍塌时发现时重开5轮保存遍生成器模型供挑选出生成器
图37 训练程loss情况
训练结束生成程图片中评选出生成器该生成器生成风格图片图梵高风格生成器生成风格图片更风格图片请见附录
图38 梵高风格迁移效果图
运样模型配置做3图翻译务作拓展创新：夏天变冬天马变斑马橘子变苹果效果图更转换效果见附录
图39 相似物体风格互换
第四章 实验结果讨分析
41 风格图片效果分析
实验结果生成图片结果进行分析简单直接肉眼结果否达求否较转换效果
风格图片效果否肉眼判断观通肉眼基方面生成图进行评分里定义5分制：01分：图模糊损坏2分：图完整风格明显转换3分：图完整风格较明显转换4分：图完整风格转换明显5分：图完整风格转换明显美观分数应效果（出种分数应图片作参考）
图41 分示例图
训练时5轮epoch保存次模型该生成器生成程图片供评估务20生成器（7风格迁移务总140模型）务模型分情况表
表41 7绘画风格迁移模型评分表
模型编号
梵高
莫奈
塞尚
浮世绘
齐白石
唐寅
山水画
1
35
35
35
4
35
2
3
2
35
2
35
45
35
2
0
3
3
45
3
3
4
4
35
4
4
4
3
0
3
4
25
5
2
35
4
45
2
4
35
6
3
4
25
45
0
2
4
7
3
35
3
45
2
4
35
8
3
45
4
5
0
4
3
9
4
4
35
5
0
45
2
10
4
4
4
5
1
45
2
11
4
3
4
4
0
45
2
12
35
3
5
4
0
3
2
13
3
3
5
45
0
55
2
14
35
4
2
5
0
5
2
15
4
37
3
5
0
3
2
16
45
35
3
45
0
45
2
17
4
3
4
45
0
45
2
18
3
35
4
4
0
45
2
19
45
3
38
4
0
4
2
20
45
35
48
3
0
45
2
表中加粗分值选出较错模型生成风格图片
出分数规律越训练面肉眼效果越样训练已训练出足够效果错生成器外齐白石山水画效果图片数缺乏导致两风格网络画作资源足齐白石收集27张山水画收集31张
利样训练评分方法拓展3象转换务生成器进行分里模型双6模型3AtoB3BtoA分情况表
表42 3相似物体风格互换模型评分表
夏转冬
马斑马
苹果橘子
模型编号
A2B
B2A
A2B
B2A
A2B
B2A
1
2
2
0
0
3
2
2
3
4
0
0
3
1
3
3
2
2
2
2
0
4
37
2
2
1
2
0
5
37
3
0
25
1
2
6
37
2
2
3
1
25
7
37
4
3
35
2
2
8
3
4
3
2
2
3
9
2
35
4
2
3
25
10
2
37
4
1
3
3
11
37
3
35
1
1
2
12
3
3
25
1
1
3
13
35
2
2
2
2
3
14
35
4
2
35
2
35
15
2
35
4
3
2
0
16
2
3
35
35
3
1
17
2
37
35
25
25
2
18
3
37
2
2
3
25
19
4
4
0
0
25
25
20
4
3
0
2
28
35
42 模型损失分析
分析实验结果较客观方法观察模型训练程损失变化训练途中模型训练损失已记录作成折线图图4(23456)示分务losses折线图（10务包括风格迁移象）
中g_loss1表示生成器GAtoB损失g_loss2表示生成器GBtoA损失两属复合生成器模型损失复合模型损失313节中述4损失组成：抗损失性损失前反损失损失越生成器模型越表明生成图片越风格图片保留原图片细节越
dA_loss1dA_loss2表示鉴器A分真实图片A生成图片A损失理dB_loss1dB_loss2表示鉴器B分真实图片B生成图片B损失损失越鉴器越表明越更区分出真实图片生成图片
图42 梵高莫奈风格务losses
图43 塞尚浮世绘风格务losses
图44 齐白石唐寅风格务losses
图45 山水风格苹果橘子互换务losses
图46斑马马互换夏冬互换务losses
losses图中出100轮epoch训练务鉴器loss非常快降低基005间摇摆出鉴器效果容易训练
务生成器loss约40轮epoch降较低40100轮epochloss24间摇摆降趋势出训练100轮训练出错生成器loss降说明实验改进空间增训练轮数单纯增加训练次数训练参数进行修改
…We train our networks from scratch with a learning rate of 00002 In practice we divide the objective by 2 while optimizing D which slows down the rate at which D learns relative to the rate of G We keep the same learning rate for the first 100 epochs and linearly decay the rate to zero over the next 100 epochs Weights are initialized from a Gaussian distribution N (0 002)
Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks 2017
根篇文做法：训练200轮前100轮epoch中保持变学率（正现作）然面100轮epoch中学率逐渐衰减0种做法会模型loss降更低
实验资源限（时间金钱）难做200轮训练前100轮训练中已训练出风格迁移较生成器
43 风格迁移方法较
第章中已介绍风格迁移历史基神网络风格迁移方法非神网络方法说没性里神网络方法进行较方法256*256图进行风格迁移里调查3维度评估方法：生成速度美观度图片数迁移风格数（）查阅应方法文献面整理出方法情况
表43 文方法方法较
生成张图片均时间
处理图片生成风格数
Gatys方法
952s
李飞飞方法
0015s
Falong Shen方法
0015s
文CycleGAN
0015s
gatys方法生成图片训练次导致快速生成图片3方法利训练生成器生成速度快生成张图片少05s时生成张风格图
前三种方法理风格效果差起挺奇幻已缺失原图细节图已扭曲文方法够保持原图细节时接风格图图47
图47 梵高风格方法风格迁移效果
出文方法更保留原图细节梵高油画风格
文方法3种方法样张风格图片训练利该风格图片集图片生成图片会某张图该风格图片集均外貌风格图前3方法迁移效果梵高星月夜样称图变换风格迁移真正风格迁移应该文方法学数集图片均风格然迁移
总结文方法作风格迁移优缺点优点：速度快生成张风格图片生成图片保留原细节生成图片外貌会单化风格均外貌缺点：模型训练时间长时生成风格
第五章 总结展
51 工作总结
次毕设工作利CycleGAN种生成抗网络做图风格快速迁移选择项技术前查阅做风格迁移技术领域中方法利弊选择项技术方法处解决问题方面生成风格图片快方面迁移图会缺失原细节
通断查阅学CycleGAN相关文献书籍第章中交代风格迁移历史背景研究容第二章中讲述GANCycleGAN原理应第三章中讲述实现CycleGAN模型训练算法第四章中结果进行分析方法进行
次工作中遇许困难做深度学资料文献书籍较少般全英着时英语基础翻译软件慢慢搞懂项工作原理编写代码挺复杂需掌握深度学框架点点学会编写代码运行代码训练模型阶段时候更愈发艰难CycleGAN模型训练4子模型开始利学校学高配置电脑运行应该够没想训练龟速进行寻寻觅觅找淘宝卖家远程机租两台深度学机GPUNvidia RTX2080Ti停停走走训练8天终跑完程序
52 续工作展
CycleGAN身许足组改进文献提供改进思路模型终效果原结构效果提升续学方法优化里100轮epoch达效果果CycleGAN原文献做法学率衰减外出100轮epoch训练效果更需量运算资源时间实现原文献训练模型时投喂图片操作机选择图片里采样方法样保证图片训练果写图片生成器图片迭代遍张图片训练效果会错
改进原工作续玩图片翻译应CycleGAN实现换脸黑白图转彩色图卫星遥感图转图风格图片某物品图片中添加某物品修复相片图片增强等等等等属图片图片翻译工作CycleGAN（需非成数）实现Pix2Pix（需成数难获取效果更）实现然翻译图片翻译视频行确现视频风格进行转换工作视频中物进行换脸黑白影片转彩色等等果迁移效果够迅速做成视频实时风格转换完成新颖应单纯CycleGAN需外技术
参考文献
[1]Javier Portilla Eero P Simoncelli A Parametric Texture Model Based on Joint Statistics of Complex Wavelet Coefficients[J] International Journal of Computer Vision 2000 Vol40 (1) 4970
[2]L A Gatys A S Ecker M Bethge Texture synthesis using convolutional neural networks[J] International Conference on Neural Information Processing Systems MIT Press 2015 262270
[3]L A Gatys A S Ecker and M Bethge A Neural Algorithm of Artistic Style[J] Computer Science 2015
[4]L A Gatys A S Ecker and M Bethge Image style transfer using convolutional neural networks[J] CVPR 2016
[5]L A Gatys M Bethge A Hertzmann and E Shechtman Preserving color in neural artistic style transfer[Z] arXiv preprint arXiv160605897 2016
[6]Justin Johnson Alexandre Alahi Li FeiFei Perceptual Losses for RealTime Style Transfer and SuperResolution[Z] arXiv preprint arXiv160308155v1 2016
[7]Falong Shen Shuicheng Yan Gang Zeng Meta Networks for Neural Style Transfer[Z] arXiv preprint arXiv170904111v1 2017
[8]I Goodfellow J PougetAbadie M Mirza B Xu D WardeFarley S Ozair A Courville and Y Bengio Generative adversarial networks[J] In NIPS 2016
[9]J Zhu T Park P Isola A A Efros Unpaired ImagetoImage Translation using CycleConsistent Adversarial Networks[Z] arXiv170310593v4 2318
[10]冼宇乔 谢瑞麟 基CycleGAN艺术风格迁移[Z] 中山学2018
[11]彭鹏 基CycleGAN图风格转换[D] 电子科技学2019
附录
更风格迁移效果：
梵高莫奈塞尚浮世绘风格
中国风：齐白石唐寅山水水墨画
更图翻译应（象转换）效果：
夏天冬天互换
马斑马互换
苹果橘子互换
文档香网(httpswwwxiangdangnet)户传
《香当网》用户分享的内容，不代表《香当网》观点或立场，请自行判断内容的真实性和可靠性！
该内容是文档的文本内容，更好的格式请下载文档
