Video2x: восстановление видео и фото в нейросетях Anime4K, RealSR, SRMD, Waifu2x

[mihas]

Графический интерфейс Video2x

• 39.96 КБ • 2883 просмотра

Использование графического процессора при обработке в Video2x

• 177.15 КБ • 2883 просмотра

Проект Video2x по восстановлению роликов и картинок собрал в едином интерфейсе несколько нейросетей последних поколений, некоторые из которых мы уже рассматривали по-отдельности в разделе Нейросети. Помимо исполняемого кода на питоне, у проекта есть чудесные скомпилированные под Windows релизы, в том числе с графическим интерфейсом.

Я первым делом из релиза Video2X 4.8.1 запустил для теста восстановление 5-минутного ролика небольшого разрешения, специально указал id1 самого мощного в системе GPU, снял с GPU другие задачи и наоборот - на центральный процессор CPU нагрузил еще пакетную обработку видео в ffmpeg. Центральный процессор всего был нагружен не более чем на 10%, то есть компьютер почти полностью свободен для другой работы, а вот второй GPU в системе нейросеть Video2х нагрузила славно на 100%, но при щадящем использовании памяти 1640 MB, то есть потянет небольшого разрешения ролик и на слабой устаревшей видеокарте, что приятно. Работает программа Video2x и на интегрированном GPU UHD от Intel, но медленнее, чем на отдельной мощной Nvidia.

При детском разрешении 720x480 всего 400 кадров за 30 минут обрабатывает нейросеть с драйвером (моделью) RealSR NCNN Vulkan DF2K_JPEG на GPU RTX 3060 - не быстро, но так тщательно работают все серьезные нейросети.

Мы уже рассматривали проект Real-ESRGAN с его моделями, и я сразу включил в драйвере Video2x модель DF2K_JPEG как наиболее понравившуюся на шумной картинке (рассматривалось с примером лица тут и ниже с примером городского пейзажа). Проект Video2x подключает всем известный ffmpeg к работе с видео, сам делит видеоряд на кадры, и сам готовые кадры упаковывает в видеоряд.

После того, как я потратил 9 часов RTX 3060 на 5-минутное видео низкого разрешения и понял, что данному видеоряду подойдет больше другая модель, Anime4K CPP, я сгенерил на Intel UHD 750 во всех режимах программы Video2x тестовые картинки для понимания, что тут и как. Я поочередно попробовал все 7 моделей, но выкладываю результаты только трех самых интересных. Четыре модели: Waifu2X Caffe, Waifu2X Converter CPP, Waifu2X NCNN Vulkan, SRMD NCNN Vulkan - ничего интересного собой не представляют, примитивный апскил с ухудшением качества, даже показывать стыдно, уровень Топаз Гигапиксела и хуже. А вот модели RealSR NCNN Vulkan DF2K, RealSR NCNN Vulkan DF2K_JPEG, Anime4K CPP работают если и не идеально, то хотя бы интересно, кто-то тянет фактуру, кто-то тянет рисунок. Первые две в принципе повторяют близко работу нейросети Real-ESRGAN с самыми интересными моделями DF2K и DF2K_JPEG. Модель Anime4K рисует примитивами, без фактуры, но для зашумленного старого ролика может как раз подойти. Посмотрим на трех наших обычных примерах всех топиков раздела Нейросети, имена файлов (подсвечиваются при наведении мыши) соответствуют выбранной модели:

Оригинальный пейзаж небольшого разрешения

• 227.19 КБ • 2882 просмотра

Работа алгоритма Anime4K CPP

• 303.7 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K

• 341.99 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K_JPEG

• 357.81 КБ • 2882 просмотра

Тест низкого разрешения 10% от оригинала

• 44.34 КБ • 2882 просмотра

Работа алгоритма Anime4K CPP для 10% оригинала

• 62.59 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K для 10% оригинала

• 87 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K_JPEG для 10% оригинала

• 80.53 КБ • 2882 просмотра

Тест низкого разрешения 25% от оригинала

• 171.23 КБ • 2882 просмотра

Работа алгоритма Anime4K CPP для 25% оригинала

• 304.73 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K для 25% оригинала

• 426.96 КБ • 2882 просмотра

Работа алгоритма RealSR DF2K_JPEG для 25% оригинала

• 483.61 КБ • 2882 просмотра

Проект Video2x развивается, к старым примитивным неинтересным низкокачественным алгоритмам добавляются правее в интерфейсе новые, все новые так или иначе уже есть в наших обзорах, тем не менее удобство графического интерфейса Video2x, скомпилированной программы, позволяет нам добавить ее в обзор отдельной темой, хотя ничего нового программа не привносит, и лишь собирает в один комплект разные нейросети, 4 из которых устаревшие и неинтересные, низкого качества, и две - RealSR NCNN Vulkan и Anime4K CPP - нормальные нейросети, которые можно с успехом применять. Еще плюс Video2x - он идеально интегрирован с ffmpeg, то есть не надо думать о раскадровке и сборке, проект Video2x сам и раскадрирует и соберет кадры в видеоряд по окончании работы. Если вы будете восстанавливать в нем видео - попробуйте во всех режимах для начала пару кадров в виде картинок отработать быстро, чтобы понять, какой алгоритм вам больше подходит. Потому что процесс обработки видео долгий, на много часов на сильном современном GPU, заряжать такой процесс лучше предварительно протестировав возможные варианты. Надеюсь, мои картинки тоже дадут вам первое представление, как именно выглядит результат, а аутсайдерские 4 алгоритма Waifu2X и SRMD проверьте сами, если интересно, как бы очень так себе, ни фактуры, ни нормального рисунка они не дают.

Если вас тут заинтересовали алгоритмы RealSR - то сходите в эту тему обзора, там моделей натренированных более двух.

[mihas]

Вот для полноты картины пара примеров от алгоритмов Waifu2X и SRMD. Это плохо явно, и мне представляется даже не стоит рассматривать такие варианты апскила без правильного рисунка и без фактуры, нормальный алгоритм должен вытаскивать хотя бы одно из двух.

Работа SRMD NCNN Vulkan: плохо

• 55.16 КБ • 2840 просмотров

Работа Waifu2X: плохо

• 61.3 КБ • 2840 просмотров

[JDS]

Добрый день.
Прокрутив на Гитхабе страницу Video2x обратил внимание на проект Waifu2x-Extension-GUI.
Есть сборка под винду.
Да, китайский интерфейс пестрит, много лишнего, но.
Video2x упорно не хочет увеличивать изображения сверх 8000 пикселей (нужно 9000+), хоть и использует те же модели. Приходилось резать пополам и склеивать.