Нещодавно нам показали «ремейк» класичного шутера 1997 року Quake II, де основна робота по поліпшенню була зведена до інтеграції технології трасування променів, але на цей раз в Мережі з’явилося дещо цікавіше. Нарешті, HD-ремейк, якого ми всі чекали! Один з користувачів Reddit, використовуючи набір з декількох нейронних мереж, зміг перетворити пикселизованное зображення особи космічного піхотинця з класичного шутера 1993 року Doom майже фотореалістичне зображення.
Як повідомляє портал Futurism, в результаті особа знаменитого «хлопця з Doom» після всіх маніпуляцій стало схожим на м’язисту версію актора Нейтана Филлиона.
Кінцевий результат чудово демонструє те, на що здатні сучасні алгоритми штучного інтелекту, адаптовані на відтворення зображень на основі дуже низькоякісного вихідного матеріалу.
Створення фотореалістичного зображення
Як пояснює джерело, фінальний результат є продуктом роботи відразу декількох генеративно-змагальних мереж (Generative Adversarial Networks, GAN). Це алгоритми машинного навчання, побудований на комбінації двох нейронних мереж, одна з яких генерує зразки, а інша намагається відрізнити правильні («справжні») зразки від неправильних.
Ентузіаст, який створив ці зображення, спершу пропустив спрайтовое особа «хлопця з Doom» через декілька програм редагування фотозображень (FaceApp, Waifu2x і GIMP). Отриманий результат, хоч і виявився істотно краще початкового зображення, але все одно був занадто пикселизован.
Подальша робота проводилася з допомогою розробленої компанією NVIDIA генеративно-змагальної мережі StyleGAN. Вона здатна генерувати особи (не лише особи, але й неживі об’єкти), які ніколи не існували і нині вона є однією з найпотужніших моделей генеративно-змагальної нейронної мережі, яка показує вражаючі видимі результати. Для закріплення результатів він пропустив вийшло особа через StyleGAN ще раз. Оскільки оригінальне зображення обличчя мало нереалістичні пропорції, фінальні штрихи і «згладжування кутів» довелося проводити вручну.
Після обробки технологією GAN, але до редагування вручну
Фінальний результат
Порівняння оригінальних спрайтовых зображень і оброблених
