Фотореалистичный апскейлинг видео в нейросети Real-ESRGAN с моделью Photo-HQ-W4xEX

[mihas]

Настройки для фотореалистичной модели на видеокарте с 12 Гб памяти

• 61.79 КБ • 3461 просмотр

Начиная с версии 3.115 программа с графическим интерфейсом Waifu2x-Extension-GUI поддерживает работу с фотореалистичной моделью Photo-HQ-W4xEX в нейросети Real-ESRGAN. Я протестировал, вещь стоящая. В программе множество быстрых Аниме моделей, но меня по опыту интересовали модели не мультяшные, а фотореалистичные. Сразу отметим, работа с фотореалистичными фильмами не быстрая, запасайтесь терпением, используйте обязательно графический ускоритель или GPU, желательно мощный современный. Начните тестирование на коротком ролике секунд на 10-15 чтобы пристреляться к оптимальным настройкам.

Оригинальный городской пейзаж небольшого разрешения

Пример 4-кратного апскейлинга фотореалистичной моделью Photo-HQ-W4xEX в нейросети Real-ESRGAN с забавными артефактами машинного обучения

• 1.86 МБ • 3461 просмотр

На скриншоте я выделил, на что обратить внимание. Идем в раздел Engine Setting, выбираем Real-ESRGAN, выбираем модель Photo-HQ-W4xEX. Всплывающая подсказка показывает, что модель самая медленная и самая качественная для фотореалистичных изображений. Но пока я не встречал нейросетей, которые бы считали и качественно и быстро одновременно.

Обратите внимание на отмеченный мной выбор Total Size графической памяти видеокарты. Дефолтное значение 140 - забирает 6 гигов памяти у видеокарты на 12 гигов, то есть 50%, у видюхи 8 гигов значение 140 берет 4 гига. Я выставлял методом перебора 210, 240, и тогда от моей видеопамяти 12 Гб программа берет 10 или почти все, а от видеопамяти 8 - берет почти 7 или почти все. Большее кол-во памяти повышает качество и скорость, меньше - данные кешируются чуть медленнее. Тем не менее, все заработает и на видеопроцессоре попроще, Total Size 140 как я понял берет 50% видеопамяти GPU. Также в разделе Video Settings я поставил аппаратное кодирование на Nvidia в h264, это позволяет собрать из кадров фильм примерно в 10 раз быстрее, чем на хорошем процессоре Intel.

Waifu2x, если верить описанию, работает и на GPU AMD, но я не проверял, не на чем проверить. Работает и на Intel CPU, но по опыту известно что это очень долго всегда. Я использую Intel только тогда, когда совсем не получается подтянуть Nvidia к расчетам.

По картинке надо смотреть, порой апскейлинг по формулам Ланкоша выглядит более естественно, чем работа нейросети. Апскейлинг аналитический, с фильтрами масштабирования и шарпинга, описывался в этой теме про ffmpeg, и это конечно куда быстрее машинного обучения, но также с использованием графического ускорителя.