使用GAN进行动漫风格迁移

本文通过介绍两种GAN的模型,来完成实景风格迁移,和AI纯艺术创作没有任何关系,寄希望于AI创作原画的请绕行。

先进行一个简短的科普,以便对后续的观点有一定认知,避免闹出笑话

GAN(对抗生成网络)是解决风格迁移的深度学习方法,本文将做出简要介绍。 GAN由生成网络G和对抗网络D组成,G用于接收一个噪声z,从而生成图片G(z);D是一个判别网络,判别一张图片x是不是“真的”我们所需得到的目的图片或者是由G生成的(此时图片是“假的”),即D(x)。D(x)在一些识别领域使用的非常广泛,而且推理过程快,系统开销低。手机和嵌入式设备可以轻松胜任,但是D(x)在GAN的整体当中,只是一小部分。GAN的训练过程是对G(z)和D(x)的不断优化的过程,如果用CNN来表达的话,就是DCGAN。

以上是对GAN的一个简单描述,深度的我就不介绍了,因为我也不会,我只会使用。这里有一篇进阶科普文,有兴趣的可以看看《GAN实战生成对抗网络》

回到本文的目标,动漫风格迁移,我在这里推荐2款GAN模型,一款是开源的AnimeGAN,这里有github的传送门,另一款是根据清华大学的论文做出的非开源AI,叫做CartoonGAN,github的传送门在这里

一、AnimeGAN

AnimeGAN是通过towsorflow-gpu来开发的,依赖cuda和cudnn,tf最大的坑是和cnn、cudnn的版本组合问题,我把我本地的版本列出来作为参考。

tensorflow-gpu 1.14 cuda 10.0 cudnn 7.4

从github下载后,还不能使用,需要下载模型文件vgg19权重文件。有条件的上个梯子,速度会快很多。模型文件可以保存在checkpoint/AnimeGAN_Hayao_lsgan_300_300_1_3_10,权重文件保存在vgg19_weight目录下

一切就绪后,你可以通过以下方式进行训练,训练到100代在T4级别的计算卡下, 大概需要40多个小时。所以考虑好自己的钱包和需求。

python3 main.py –phase train –dataset Hayao –epoch 101–init_epoch 1

在训练之前需要做一个小修改,main.py里os.environ[“CUDA_VISIBLE_DEVICES”] = “1”是设置GPU的,单卡设置就是0,双卡就设置0,1。否则GPU无法生效。–dataset参数是制定训练集的,github上拉下来的有多个风格,可以都训练一下,代数这里设置的是101,随时查看随时调整即可,为了方便查看,可以做个web服务器指向到训练目录,能随时查看训练的情况。

如果不喜欢这个耗时又耗力的过程,那么直接使用你下载好的一个模型就能用

python3 test.py –checkpoint_dir checkpoint/saved_model –test_dir dataset/test/real –style_name H

这里同样需要修改刚才的环境变量,让GPU设置为符合你自己的情况,checkpoint_dir是设置训练模型路径的,test_dir是设置输入路径,如果要生成单个文件,需要修改test.py,注意一下,模型载入以后可以反复推理,不要每次推理每次装载模型,

总结:AnimeGAN是对算力要求很高,显存大小要求很低的网络模型,或者理解为时间复杂度很高,空间复杂度很低,可以胜任2k 4k图形的画质迁移。按照当下的科技水平,很难实现实时推理,V100这种计算卡对于1080p的图片来说,也需要1s多,至于K80那种,奔着20秒去了。至于CPU推理,这个算法我没试过,但还是不建议去试。

二、CartoonGAN

未完待续

《使用GAN进行动漫风格迁移》有0个想法

  1. Несмотря на тот факт, что БК 1xbet зеркало рабочее прямо сейчас имеет официальную лицензию и зарегистрирована на Кюрасао, Нидерландских Антильских островах, в РФ ее сайт систематически блокируется. Но пользователей фирмы это сегодня не может беспокоить, так как руководство фирмы выполнило соответствующие шаги в правильном направлении, обеспечив своим клиентам реальность входа на ресурс когда угодно, даже при условии блокировки главного ресурса 1xbet. Причины блокирования сайта В Рф принят законопроект, ограничивающий или запрещающий деятельность БК, какие не выполняют следующие условия: Реальная регистрация в пределах РФ, получение разрешения и уплата налогообложения в госбюджет. Вход в состав СРО. Потому, что букмекерская контора уже имеет в распоряжении международную лицензию, ее представители посчитали условия страны высокими, за это подвергалась блокированию. В последнее время активности 1xbet на территории России по заключению суда было блокировано больше 500 доменов. Однако это не мешает фирме возобновлять деятельность, а ее посетителям пользоваться абсолютно всеми разделами сайта, ставить и иметь выигрыш. Как зайти на блокированный интернет-сайт С целью обойти блокирование, работники компании предлагают всем своим посетителям доступ к рабочим зеркалам 1xbet. Войти на действующую сборку проекта сможете с помощью ссылки 1xbet зеркало. Это комфортный и простой способ использования БК. Во время использования зеркала сохраняются абсолютно все индивидуальные данные, в том числе счета и аккаунт, вдобавок рабочее зеркало точно воспроизводит главный ресурс. Он настолько же высококачественно предохранен и полностью не опасен для проведения ставок, внесения и вывода средств. Рабочее зеркало заблокированного основного вебсайта – самый удобный способ продолжения проведения ставок без малейшего риска и хлопот.

  2. Несмотря на тот факт, что букмекерская контора 1xbet зеркало рабочее на сегодня имеет официальную лицензию и оформлена на Кюрасао, Нидерландских Антильских островах, в РФ ее ресурс постоянно подвергается блокированию. Однако пользователей фирмы это не может беспокоить, поскольку управление компании выполнило надлежащие шаги в правильном направлении, гарантировав всем своим посетителям возможность прохода на портал в любой момент, пусть даже при обстоятельстве блокировки главного сайта 1xbet. Причины блокирования проекта В Рф утвержден закон, который ограничивает или запрещает функционирование БК, которые не исполняют последующие требования: Официальная регистрация в пределах Российской Федерации, получение лицензии и уплата налогов в госбюджет. Вход в состав СРО. Поскольку контора букмекерская уже имеет международную лицензию, ее субъекты посчитали притязания государства высокими, за это подверглась блокированию. За последние 3 года функционирования 1xbet на территории Российской Федерации по заключению судебного органа было заблокировано более 500 доменов. Только все это не препятствует фирме возобновлять работать, а ее посетителям пользоваться всеми областями сайта, ставить и выигрывать деньги. Как зайти на блокированный ресурс Для того, чтобы обойти блокировку, представители фирмы предлагают всем своим посетителям вход к рабочим зеркалам 1xbet. Зайти на работающую сборку проекта можно посредством ссылки 1xbet зеркало. Это простой и комфортный способ пользования БК. При использовании зеркала хранятся абсолютно все индивидуальные данные, в том числе счета и учетка, к тому же зеркало в точности копирует официальный ресурс. Он столь же высококачественно предохранен и полностью безопасен для проведения ставок, внесения и вывода денежных средств. Рабочее зеркало блокированного основного проекта – самый комфортный способ дальнейшего продолжения организации игровых ставок без малейшего риска и затруднений.

  3. Несмотря на тот факт, что контора букмекерская 1xbet имеет реальную лицензию и зарегистрирована на Кюрасао, Нидерландских Антильских островах, в РФ ее интернет-сайт постоянно подвергается блокировке. Но абонентов фирмы это не может беспокоить, поскольку управление компании выполнило соответствующие шаги в правильном направлении, гарантировав всем своим посетителям способность прохода на портал в любое время, пусть даже при условии блокировки главного сайта 1xbet. Основания блокирования проекта В Рф принят законопроект, который ограничивает или запрещает деятельность БК, которые не выполняют последующие требования: Реальная регистрация в пределах РФ, приобретение лицензии и уплата налогообложения в госбюджет. Вход в состав СРО. Потому как БК уже имеет транснациональную лицензию, ее представители сочли нормативы государства завышенными, за что подверглась блокировке. В последнее время активности 1xbet на территории России по решению судебного органа было заблокировано больше 500 доменных имен. Но все это не мешает компании продолжать деятельность, а ее посетителям пользоваться всеми областями вебсайта, делать ставки и получать выигрыш. Каким образом зайти на блокированный сайт Чтобы обойти блокировку, представители компании предоставляют своим посетителям вход к рабочим зеркалам 1xbet. Войти на функционирующую версию ресурса сможете при помощи ссылки 1xbet зеркало сейчас. Это комфортный и несложный способ использования БК. При использовании зеркала хранятся все индивидуальные сведения, включая счета и аккаунт, вдобавок рабочее зеркало в точности воспроизводит официальный интернет-сайт. Он настолько же качественно защищен и целиком безопасен для выполнения ставок, внесения и получения денежных средств. Зеркало заблокированного основного проекта – один из наиболее комфортных вариантов продолжения организации ставок без малейшего риска и хлопот.

发表评论

电子邮件地址不会被公开。 必填项已用*标注