图像风格的替换是一种新生的技术,因吃水仿真,它的摆脱一方面经过折叠神经网解说,折叠神经网所制作的对图像特有的的高层特有的的拔出使得风格和使满足的舍弃相称了能够。在另一方面,它能够是作者的灵感,使满足的表现是好的折叠神经网,但风格不,方法让使满足和更改风格是什么本文是在流行做成某事T。

本文属于札记凝结。这是[ 1 ]

引入

属于身分替换风格替换,结构使不相同成绩从前,应用非限制因素方法,经过一个独家经营的货物的和使坚固或稳固的方法摆脱。

全体与会者方法的成绩是它不料概括位置相干。跟随美国有线电视新闻网的使苍老,卒,掷还漏。

好多得出所预测的结果成果应用于个别的掷还,将深刻到,到这地步,在普通意思上的技术晋级。

方法

可以举行风格替换的根本执意将使满足和风格区别开来,那时笔者将满这点美国有线电视新闻网。

使满足概括

和先前类似于,使满足是用地层或层美国有线电视新闻网代表,普通来说,卓越越高,更剽窃的表现。这时,必要有几种体现:

  • Ml: 层的特有的 脸的显得庞大
  • Nl: 抑制器的L层数
  • Fl: 图像特有的在L层表现,这是本人矩阵,矩阵的显得庞大为Ml * Nl.
  • Flij: 抑制器上i j i层的使易于感光值。
  • p: 原始图像的使满足
  • x: 制定图像
  • Pl: 美国有线电视新闻网L层中原始图像的表现
  • Fl: 制定图像在CNN中第l层的表现

卒,笔者把走慢的使满足。

出处即为:

你和这措辞有什么相干? 现时发布的新闻一个美国有线电视新闻网用网覆盖锻炼,输入图像显得庞大随机设定初值的噪声x图像,那时雇用不变的美国有线电视新闻网限制因素,原始图片P和X输入用网覆盖,这么x的派生物,这样地,x会越来越将近P的满足的。。

式概括

但风格替换是本论文的灵感猎物。,论文应用互相牵连矩阵来表现图像的风格。自然,概括的风格依然是地层单元。

  • a: 开始的的风格图片
  • Al: 这种风格的地层菜单风格特有的。
  • Gl: 制定图像某地层的风格特有的表现,n的显得庞大l * Nl

在监狱里,Glij是我的L层特有的值 脸和J特有的 脸内的货物。

到这地步,笔者受到的风格走慢应变量。

单层走慢应变量:

捆绑走慢应变量:

求偏导:

具有类似性的使满足表现,万一笔者用X随机设定初值,雇用美国有线电视新闻网常数,一、X输入用网覆盖的风格。,这么x的派生物,X将更将近时髦的。。

重构使满足和风格使恢复完整

不思索风格替换,只思索使满足或风格,你可以查看如图所示:

图做成某事上半分开是使恢复完整的风格,它从图中可以看出,高等的阶段的特有的,风格使恢复完整更粗纤细。后半分开是使满足的重构。,它从图中可以看出,更多的下层特有的,使恢复完整的使发生越好,不容易失真。

风格替换

的使满足和风格,语体的更改曾经降低价值了把持。,两种走慢的重要。

这也可以阐明。:

同时将三张相片(一, p, x)为三个同样的的用网覆盖,本人博得方法,计算P的满足的,这么x的派生物,这样地,X的风格与磷满足的。

试验

The experiment using 19 layer VGG trained,经过调节器各层的重要是0的典型的使易于感光。重要的调节器并无能力的撞击输入的成绩。在试验的在法律上不能实施的衔接层的应用。

试验调节器一个限制因素,绝对于其他的进行控告,确实,本文的限制因素不多,有:

走慢的分量比

的比率大,的使满足更极端地。

程度选择

使坚固或稳固风格的分层,在使满足层面的变更,可以查看,低阶段的使满足,卒该片的满足的较专家。。

设定初值方法的选择

  • A: 从图片使满足设定初值
  • B: 从菜单的风格的设定初值
  • C: 随机设定初值

可以查看,设定初值的不相同如同对结局卒撞击简直不。

使发生

与各式各样的风格绝对应的图片:



相片风格替换:

议论

  • 进度,因每张图片都是屡次制定的。,高清图像的制定极端地迟钝的。。
  • 噪声会引见,风格变更不专家,但风格和使满足的图片的状态,它变为很专家。。但可以从容的地处理这成绩。。
  • 风格替换的暧昧的极端地不专家,人类也无法数字化一张图片中哪一个属于风格,属于使满足。
  • 风格替换提出了成的出身,可以得出所预测的结果人类视觉。

据我的判定结局的优势充分体现了作者的判定。

慎重的

说了那么些,为什么互相牵连矩阵可以从风格我依然perplexe概括。

  • 眼睛的上看,风格一定是一种共有的的完全地菜单,互相牵连矩阵,据我的判定这是要概括协同的剽窃。在这思绪下,可以探究其他的方法可以概括。譬如
  • 是否可以经过把持给互相牵连性矩阵加mask的方法来根究各式各样的feature 脸的真实功能。

参考文献

[1]. Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural 用网覆盖[C] // of the IEEE Conference on Computer Vision and Pattern 区分。 2016: 2414-2423.

发表评论

电子邮件地址不会被公开。 必填项已用*标注