Бесплатно улучшаем качество картинок/видео с нейронной сетью ESRGAN

[Xanthias]

Всем привет! Данная статья будет по улучшению качества фото и видео. Так-же данная нейронка присутствует на этом сайте Ссылка
Но, на этом сайте есть ограничение в 5 фото на каждую неделю. Обходить я пытался, но возможно имеется какая-то привязка по hwid и т.д. Предлагаю вам испробовать туже нейронку, но с возможностями тонкой настройки и совмещения нескольких фильтров.

Установка​

1. Топаем на github автора и скачиваем Ссылка;
2. Распаковываем;
3. Готово.

Теперь самое главное!​

После предварительных действий можем запускать программу. Если при запуске у вас не выдало этого Скриншот, то тыкаем на шестерёнку в правом верхнем углу и выбираем эту вкладку Скриншот и нажимаем на " Open Dependency Checker ", после этого у нас откроется статус зависимостей, но нам необходимо на вкладку ниже Скриншот. После этого нажимаем на кнопку " Install " и дожидаемся установки.

Настройка​
Нажимаем на шестерёнку и переходим в этот раздел Скриншот и включаем " CPU Mode ", он нам позволит рендерить в данной нейронке через процессор, а не через видеокарту RTX.
Переходим в соседней раздел под именем " ESRGAN (NCNN) " . В данном разделе необходимо выбрать " Tile Size " с англ. размер плитки. Если у вас 4-х Гб и более, то выбираете " 512 ". Если у вас меньше 4-х Гб, то выбираете " Auto " или " 256 " - " 64 ". Через данные настройки мы выбираем сколько оперативной памяти будет использоваться при рендеринге фото и видео. У меня на " 512 " используется 3,8 Гб VRAM.
Настройки следующего раздела не будет т.к он у меня не заработал.

Использование​

Всего у нас есть 3 нейронки:

1. ESRGAN (Pytorch) - она рендерит через CPU или видеокарту RTX ( На выбор );
2. ESRGAN (NCNN) - подходит для всех видеокарт. Рендер происходит через GPU;
3. RealESRGAN (NCNN) -одинаковый принцип обработки как в 2 пункта, но более качественней (У меня происходит краш при использования этого метода).

Расположение и объёснение каждой кнопки

1. Выбор нейронной сети;
2. Выбор модели ( стиля ) обработки;
3. Выбор дополнительных фильтров;
4. Просмотр обработки без сохранения. Есть 2 выбора: 1. Всё фото, 2. Та часть фото, которая приближена;
5. Добавления изображения и перезагрузка до изначального;
6. Выбор расширения сохраняемого файла;
7. Сохранение и сохранение в папку с исходным фото/видео;
8. Апскейл фото;
9. Апскейл большого кол-во файлов, например текстур игр;
10. Апскейл gif и видео
11. Рабочее пространство, где можно приближать, отдалять и смотреть " До и после " ( Для использования этой функции необходимо нажать ЛКМ по рабочему пространству;
12. Состояние апскейлинга на данный момент.

На данном скриншоте вы можете посмотреть основные кнопки, которые будут необходимы для корректного использования программы. Для более глубокого изучения функций программы нужно самостоятельные действия.
Для рендеринга видео необходимо мощное оборудование. У меня за 1-2 часа было улучшено 38 кадров из 3508, рендерил через видеокарту Rx 570 8Gb с помощью нейронки " ESRGAN (NCNN) ".
Вот улучшенные текстурки оружия из HL1 с помощью данной нейронной сети Ссылка.
Конец​

​
Надеюсь, что кого-то заинтересует данная статья. Похожих статей вроде бы не было. Если есть вопросы, можете задавать. Так-же можете помочь улучшить визуальное восприятие темы.

Спасибо за прочтение!

 

[Embrin98]

Эта приблуда через любые карты рендерит? Или нужна карточка с поддержкой CUDA ядер?
Если CUDA нужны, то владельцы карт от AMD сосали (и я в том числе)

 

[Xanthias]

Эта приблуда через любые карты рендерит? Или нужна карточка с поддержкой CUDA ядер?
Если CUDA нужны, то владельцы карт от AMD сосали (и я в том числе)

Да. На моей Rx 570 рендер шёл

 

[Overrated]

Интересно спасибо)

 

[Aleksich]

Полезно, ты красава!