En tant que petit projet amateur, j'ai expérimenté avec les réseaux neuronaux AI Gigapixel pour améliorer l'une de mes séries de science-fiction préférées - Star Trek: Deep Space Nine (DS9), dans la traduction russe de Star Trek: Deep Space 9.

Perspectives pour Deep Space Nine

Tout comme Final Fantasy 7, où je fais une mise à niveau des arrière-plans, des textures et des vidéos dans le mod Remako , DS9 n'a pas l'intention de sortir une version HD. Alors que les saisons populaires Original Series et The Next Generation (TNG) ont été principalement filmées, la DS9 a été filmée au milieu des années 90 avec des effets visuels (batailles spatiales, etc.).

Le film analogique peut être numérisé à nouveau avec une résolution plus élevée, mais cela ne fonctionnera pas avec la vidéo numérique. Remasteriser la série devient de plus en plus cher: c'est l'une des raisons pour lesquelles elle n'est pas sortie en HD.

Apprentissage automatique remastérisé DS9

J'ai pensé qu'il serait utile d'utiliser des réseaux de neurones ici. À l'aide d'outils comme AI Gigapixel, les images basse résolution DS9 peuvent être mises à l'échelle en haute définition: 1080p ou 4K. Ils ne seront jamais comparables à un bon remastering, mais c'est un pas dans la bonne direction.

Par conséquent, j'ai essayé sur quelques images ce qui se passe. Les résultats sont excellents. AI Gigapixel utilise des réseaux de neurones formés à de vraies photos. Ils sont bien adaptés pour les rendus haut de gamme des jeux vidéo Final Fantasy, mais ils ont également mis à l'échelle les cadres DS9 et les effets spéciaux avec une qualité incroyable.

Voici quelques exemples:


Résolution originale 480p (cliquez pour agrandir)


Résolution 1080p améliorée (cliquez pour agrandir)


Résolution originale 480p (cliquez pour agrandir)


Résolution 1080p améliorée (cliquez pour agrandir)

Ces clichés simples semblaient prometteurs. Dans la première série d'images, le personnel de la station en combinaison spatiale ne représente que quelques taches. Après la montée en gamme, des chiffres beaucoup plus nets sont apparus.

Le gros plan du bras s'est également amélioré. Les rides et les plis de la peau sont beaucoup plus détaillés et le baseball présente une meilleure brillance et un firmware complexe.

Vidéo

Cependant, la vraie vérification est de savoir comment les réseaux de neurones vont gérer la séquence d'images, c'est-à-dire la vidéo. Des artefacts et autres problèmes apparaîtront-ils? Après tout, AI Gigapixel est conçu pour mettre à l'échelle des images individuelles et ne prend pas en compte la relation entre les images individuelles d'une vidéo.

Pour vérification, j'ai décidé de traiter une partie de l'épisode "Victime des anges" de la 6e saison. Il s'agit d'une excellente série sur la guerre du Dominion, où il y a des batailles spatiales épiques et des moments plus personnels face à face.

Je vais vous en dire plus sur ce processus dans les prochains articles, mais en bref: l'extraction et la mise à l'échelle des images, puis la génération d'une nouvelle vidéo à partir de celles-ci, ont pris environ deux jours. Il s'agit du traitement des cinq premières minutes de l'épisode (reprise, scène d'ouverture et introduction). Un temps assez normal pour les PC de milieu de gamme et haut de gamme avec un logiciel open source.

Le résultat m'a conduit dans la crainte. Il avait l'air mieux que je l'espérais. Aucun problème ni artefact. Étant donné que les images (en mouvement) valent plus de mille mots, voici deux vidéos à comparer.

Le premier montre la situation «avant et après» sur les images fixes.


Le second compare deux vidéos. Remarquez à quel point la version améliorée est plus nette.


Si possible, je vous recommande vivement de regarder ces vidéos via l'application YouTube sur votre téléviseur. Cela donne une meilleure idée de l'apparence directe du DS9 amélioré sur le téléviseur.

Les comparaisons sont bonnes, mais à quoi ressemble une vraie vidéo? Voici les cinq premières minutes de l'épisode en entier avec une résolution de 1080p :

Et 4K?

Honnêtement, je ne sais pas. Bien que je puisse zoomer en 4K, je n'ai pas de téléviseur ou d'écran avec cette résolution pour vérifier les améliorations. Cependant, j'ai enregistré cette vidéo. Il est intéressant d'entendre l'opinion des personnes disposant d'un équipement 4K sur le fait qu'il soit meilleur par rapport à la version 1080p.

Le rendu a presque fait fondre mon ordinateur, car il est beaucoup plus intensif que 1080p, nous nous limiterons donc à cet exemple 4K.

Et ensuite?

Comme je ne possède pas les droits sur DS9, je ne peux pas faire ce que je veux avec la série. Je publierais des épisodes complets, mais c'est tout simplement juridiquement impossible. Ces vidéos sont plus une preuve de concept pour les détenteurs de droits d'auteur de CBS pour jeter un coup d'œil à l'apprentissage automatique et aux réseaux de neurones pour une éventuelle remasterisation de DS9, ce qui rapprochera un peu notre film préféré de l'ère HD.

Imaginez ce qu'une équipe professionnelle peut faire avec un équipement puissant, des réseaux de neurones spécialement formés (peut-être en l'entraînant pendant la saison TNG - sur un ensemble de données à partir de trames originales et de trames après remasterisation) et l'accès à des sources SD au lieu de DVDRip, comme le mien.

Eh bien, pour ma part, je peux vous en dire plus sur le processus haut de gamme, comment je l'ai conduit, qui fera l'objet d'un futur article.

Faites-moi savoir ce que vous en pensez.