玩游戏

这都是一场建筑游戏-有些是用刷子,有的用铲子,有些人选择笔。

波洛克

……还有一些,包括我自己,选择神经网络。我是个艺术家,我也在开发商业软件很长一段时间了。但是艺术和软件在我的生活中曾经是两条平行的轨迹;除了偶尔进入生殖艺术处理和计算摄影,我所有的艺术都是模拟的……直到我发现了Gans(生成性对抗性网络)。

自2014年甘斯发明以来,机器学习社区产生了许多深刻的影响,关于技术的技术部分(betway牛牛比如这个)这不是其中之一。相反,我想分享一下为什么甘露是优秀的艺术工具的一些原因,以及我为创作甘露增强艺术而开发的方法。

但首先,请看我的艺术,了解我将要讨论的内容的一些具体示例:

技术支持Flickr嵌入.

作为艺术家/评论家游戏的甘的肖像

那么什么是甘,什么让它对艺术家如此有吸引力呢?

我们可以把艺术制作的过程想象成一种游戏。这个游戏是在一个艺术工作室里进行的,有两个玩家:A批评家和一个学徒艺术家.学徒艺术家的目标是在不复制大师原作的情况下,以其大师的风格生成图片。批评家的目标是决定他所看到的艺术是由学徒还是大师来完成。一轮接一轮,学徒和评论家互相竞争。随着学徒越来越善于模仿主人的风格,批评家被迫更善于区分大师的作品和学徒的作品,当批评家越来越擅长这个的时候,学徒也必须更善于模仿师父的风格。

gan是一种神经网络结构,它模拟这个过程;批评家的角色由鉴别器网络扮演。D,艺术家学徒的角色是由一个发电机网络扮演的。G.通过一轮又一轮的“游戏”,发电机网络变得越来越善于模仿主人的风格——也就是说,输入数据集的内容。

图像11

什么是你的角色?好,你可以调整游戏规则(网络超参数),也可以成为馆长。作为策展人,您必须从GaN的输出中进行选择,因为它可以在不同的合成中生成许多图像,颜色,以及纹理组合,与接受训练的图像有不同程度的差异。馆长也很难——有时候当你想保留所有的照片时,你会发现自己沉浸在有趣的图像中!

图像9

但与甘斯合作最重要的是令人振奋的.用甘斯,有新模型和新数据集的冒险。有一种惊喜的成分,与其他数字工具不同。有一种不可预测性激发了我们,解除阻塞,并创造了一些特别的东西-远远超出了Instagram过滤器或普通风格的转换。

为什么是CycleGAN?

有各种类型的深层学习技术用于生成艺术。
最受欢迎的是:

  • GaN/DCGaN,上述原始方法:
  • 神经风格转换,将一个图像的样式应用于另一个图像的内容:
GatysEcker和Bethge。
  • 成对图像翻译技术,像Pix2PIX一样,需要一个带有配对源图像和目标图像的数据集进行培训:
pix2pix图像翻译示例。
  • 未成对的图像翻译技术,像CycleGAN一样,不:
    戏弄者
朱等。

所有这些技术创造了美妙的艺术。那我为什么最终只和Cyclegan一起工作呢?〔1〕?简而言之,Cyclegan允许您训练网络以一个数据集的形式转换图像输入域)拥有另一个数据集的纹理目标域)这一点很重要;根据计算机视觉先驱Alyosha Efros,我们“仍处于纹理状态”。

我第一次用自行车做一个工作项目,但它对纹理模仿的能力如此着迷,以至于我想把它重新用于生成艺术。Cyclegan使您能够使用相对较小的数据集以高分辨率工作,模型训练很快-立即满足!

我的第一个项目是将我的饮食摄影转化为我静物画和花卉画的风格。每个数据集包含300到500个高分辨率图像。整个月我都在做各种实验,主要围绕输入数据裁剪大小。我花了几个小时筛选输出图像,把那些看起来很有趣的东西拿出来。

真希卷?黄金比例?Kasha Malevich?…

我的花卉画变成了幻觉小吃,我的饮料摄影变得有趣-我的视觉世界爆炸了。最后,有点紧张,我和我的艺术导师分享了它们。她的反应是:“我对软件一无所知,betway牛牛但是你对这些很感兴趣!继续前进!”

所以我继续走。随着我越来越熟悉这个框架,我继续尝试其他数据集组合-花卉素描到花卉图片,风景素描到风景摄影,还有更多。一些实验失败了;其他人相当成功。

实用建议

以下是我在几个月的自行车实验中学到的一些技巧:

  • 正如原Cyclegan论文所观察到的那样,“培训数据的翻译通常比测试数据的翻译更具吸引力。”因此在许多情况下,我使用训练数据的子集进行推理-我的目标不是泛化,我的目标是创造吸引人的艺术。
  • 经常,我开始在更大的数据集上对我的模型进行初始培训,然后在较小的子集上对其进行微调以获得特定效果。这是一个例子:这些图片是由一个在日本诗集封面上微调的景观模型生成的。
  • 值得一看的是仪表盘作为模型列车。cyclegan引用实现允许您设置显示频率,我把它放得很高,注意观察有趣的图像。这个过程对我来说就像是冥想——盯着visdom的用户界面,呼吸着失去的功能。
    目镜
  • 随着训练的进展和结果变得越来越有趣,增加检查点保存频率。
  • 保存实验的所有参数,以便稍后重新创建。虽然,老实说,如果我不能复制一些结果,那就没什么大不了的了——新的实验带来了新的兴奋!)
  • 在推理过程中,目标集中的图像不会影响生成的图像的外观。这并不意味着你不在乎你在目标设定中放了什么。记得,你有两台发电机。不要让第二个闲置-可能会出现有趣的工件,就像重建图像一样,生成器试图重建输入图像。
  • 默认情况下,CycleGAN使用实例标准化和批量大小为1。但是一旦你学会了规则,你就可以开始打破它们。如果你使用批处理标准化和更大的批量?
  • 另一个值得探索的技术是Cyclegan链锁:训练一个模型并使用结果训练另一个模型。

下面的图片是最后两个项目的插图-我用了一套我的花束和一套肖像素描。第一个模型使用批处理规范化在这两个模型之间转换成灰度。下一个模型将第一个模型的结果放大并上色。

选择550

  • 小心过多的纹理〔2〕,尤其是在训练补丁的时候。我最初的从食物到静止绘画的实验,把后者大部分变成了粥;所以值得花些时间来整理培训数据集。

另一方面,正如我的水彩画老师常说的:让媒介来做。真的,我的草图只是提供了基础,然后我让网络做它的事情;我不打架,我只是不断地调整我的Brushgan工具包(它包括保存的经过培训的模型,输入数据集,更多)。

这让我想到了下一点-在磁盘空间允许的情况下保存尽可能多的型号。把这些用于你的个人风格转移-结果将击败标准的“星光之夜”格式的每次。

考虑一下这个列表,你探索自行车和其他运动的跳板。这些建议只是粗略的指导方针,在你的旅程中,我相信你会根据你的数据集提出你自己的技术,你的艺术情感,还有你的目标。最重要的是要注意你的GAN生成的图像,这样你就可以调整训练过程。

贸易工具

到目前为止,我们已经介绍了一般流程:收集一些数据,开始玩吧。现在我们来谈谈工具。betway牛牛

无论你选择什么样的神经网络来创作艺术,深度学习设置或多或少是相同的。在过去的一年左右,我所有的工作都是在我自己构建的服务器上完成的。我的原始设置是在AWS上运行的,虽然在计算上更便宜,存储是一个主要的难题——我浪费了大量时间将数据从卷移动到S3或从S3移动到S3,忘记断开卷连接。现在我运行自己的服务器,使用GTx1080 GPU,一个275GB的SSD和两个1TB的HDD,尽管我的空间仍然很有限,我对存储的额外控制是值得的。

还有超参数,其中最重要的无疑是图像的大小。Cyclegan设置允许您指定图像裁剪,但最大可能的分辨率取决于您的硬件。在我的GTX1080上,训练的最大值为400x400。通过推论,你可以走得更高,但结果往往很糟糕。为了让第一次实验简单些,您可能只想使用Cyclegan默认设置,其中图像被加载并重新调整为278x278,并随机剪切为256x256。我在1024/800/400上训练过模特——有时是白手起家,有时从一种尺寸开始,然后随着训练的进展而改变。

几乎都是关于数据的。betway牛牛

不要忘记数据集!众所周知,要训练任何深度学习网络,你需要大量的数据。许多人工智能艺术家使用网络抓取来获取数据集。但是-相反的我-我决定用我自己的数据集代替,我指的是我的个人照片和绘画。这有明显的优势:

  • 它会给你的艺术带来独特性和凝聚力,无论是风格还是主题。
  • 你不必担心版权问题。betway牛牛
  • 你得到的高分辨率图像没有很多的预处理。
  • 带着相机,您可以轻松地为特定的颜色和合成创建数据集。

对于我的数据存储库的组织,也值得说几句话。以下是我使用的数据结构和处理管道:

  • 一般预处理:从我的智能手机加载和调整照片
  • 数据集组成:根据主题/内容/颜色/纹理等对照片进行排序。
  • 三层存储组织
    • 远程(云服务,如Flickr):用于存储原始图像。Flickr很适合固定组织,它提供了一个像样的编辑器和无限的存储空间。
    • HDD:用于长期存储未使用的数据集和权重
    • SSD:用于短期和中期存储数据集和权重。我的SSD被组织成几个文件夹,包括用于原始图像的通用存储库和用于预处理图像的特定于GAN的存储库。
  • GaN特异性批处理:我在常规/数据集报告中使用Jupyter笔记本,有用于种植方形作物的公用设施,Canny边缘检测(用于Pix2Pix)排序图像,等等。
我的SSD的文件夹结构。

从这里到哪里?

在这一点上,Cyclegan已经成为我的艺术家工具包的重要组成部分。就在我开始尝试新的甘露聚糖的时候,cyclegan仍然是生成管道的一部分:现在我将gan的输出链链接到cyclegan进行去模糊,超分辨率和彩色与传统的简历技术。以下是使用cyclegan将sngan的输出从128x128提高到512x512的示例:

现在也许是休息的好时机,安装Cyclegan并旋转。我一直在使用Cyclegan团队实施PyTorch(这也能让你以同样的门票价格买到Pix2Pix)因为它干净,和你一起工作很愉快,有据可查,组织良好的代码及其优秀的培训仪表盘。

为了我,这些实验的最好部分是让我的视觉世界更加丰富,让我更多地观察和欣赏颜色和纹理,让我想到新的想法和新的项目,让我更想画画和拍照。

我将以阿利奥莎·埃弗罗斯的话来结束:

视觉世界有长尾巴…

跟随海伦娜·萨林推特.


  1. 为了更好地解释Cyclegan,退房这个视频来自“两分钟论文”系列。γ

  2. 通过纹理我是说高分辨率的重复模式,就像砖墙里的线或者铁丝网里的线。γ