Propre plate-forme vidéo ou comment utiliser beaucoup de ressources informatiques. Partie 1

_{Sur la photo - le premier vélo volant à quatre roues. Source}

Aujourd'hui, en raison de la disponibilité des services nécessaires, publier des vidéos sur le réseau n'est pas une tâche difficile. Cependant, il n'y a pas tant de documents sur la structure interne de ces systèmes, en particulier dans le segment de langue russe.

Je participe depuis un certain temps à la conception et au développement d'une plateforme vidéo de haute qualité. Dans cet article, je veux décrire ces moments que j'aimerais moi-même connaître au début du développement.

L'article ne revendique pas le statut de leader, j'essaierai de décrire uniquement les points intéressants ou non évidents affectant le traitement et la diffusion de contenu vidéo basé sur HTML5.
Le matériel est conçu pour ceux qui sont déjà dans le sujet, ou est prêt à rechercher une ventilation des abréviations, des termes et des concepts.

La deuxième partie.

Format

H264 High-profile, malgré sa popularité, il s'avère que cela ne fonctionne pas partout - certains navigateurs n'incluent pas son support. Heureusement, sur les appareils modernes, presque partout où H264 n'est pas pris en charge, VP8 / 9 fonctionne. VP9 est préférable d'utiliser, car Je n'ai pas vu d'anciennes versions de décodeurs pouvant VP8, mais pas VP9 ou H264. VP9 donne une qualité d'image comparable à H264 lorsque le débit binaire est ~ 30% inférieur - ceci est important pour réduire la charge sur les canaux. De plus, si l'utilisation du codec MPEG peut potentiellement avoir des prétentions légales (une histoire très compliquée), alors VP9 est d'accord. Certes, la vitesse d'encodage de VP9 est environ un ordre de grandeur inférieur, par conséquent, plus de ressources devraient être allouées pour son traitement.

S'il est nécessaire de prendre en charge d'anciens équipements qui ne peuvent pas faire face à H264 High, vous pouvez ajouter 480p H264 Main avec un débit binaire inférieur comme troisième format.

Hi10P est massivement préférable de ne pas l'utiliser en raison de la mauvaise prise en charge du décodage matériel.
Le H265 nécessitera évidemment des frais de licence, ce qui n'est pas pour tout le monde.

Doux contre dur

Les encodeurs matériels n'utilisent pas la plupart des fonctionnalités avancées des codecs (économiser de l'espace sur les puces), donnant des fichiers encodés de manière non optimale. Le choix du format est limité, tous ne peuvent pas être configurés avec des paramètres d'encodage - souvent, des valeurs qui affectent vraiment le résultat, il n'y a qu'un débit binaire, et même cela est perçu de manière très particulière. Si tout est fait comme il se doit, sur les puces normales, vous pouvez obtenir un résultat complètement sain avec un linéaire (effet dans les scènes dynamiques) et un débit binaire un peu plus élevé.

Et, bien sûr, pour que l'encodeur matériel fonctionne, vous avez besoin d'un appareil - une carte vidéo ou un processeur avec un noyau vidéo, que tous les serveurs n'ont pas.

Mais ils sont rapides. Très. Par rapport au traitement logiciel, la vitesse peut augmenter de quelques centaines de fois, à un niveau auquel les E / S disque peuvent ne pas être suffisantes.

Le traitement par les méthodes matérielles dépend fortement du fournisseur de la solution - chaque fournisseur a son propre ensemble de bibliothèques et d'utilitaires pour cela, et il y a beaucoup de choix: Intel Quick Sync, NVenc, AMD VCE.

Avec le traitement logiciel, il n'y a pas de telles restrictions, et avec un débit binaire équivalent, le résultat est meilleur. Pour travailler avec différents formats et codecs, il y a ffmpeg; Les «apparatchiks» n'ont pas ce luxe (avec des réserves).

Critères de qualité vidéo

Pour déterminer la qualité cible, il est plus facile de lire en bits par pixel, BPP. Ce paramètre est indépendant de la résolution, de la fréquence d'images et de la durée. De là, considérez déjà le bitrate selon la formule

BPP * Framerate * Width * Height 

Les meilleures valeurs BPP sont choisies au mieux par des expériences indépendantes pour la vidéo que vous prévoyez de traiter. Une bonne valeur initiale pour H264 est d'environ 0,09 bps. Pour les codecs hautes performances, tels que H265 et VP9, ​​ce paramètre peut être réduit proportionnellement au taux de compression comparatif. De plus, le BPP peut être légèrement réduit pour la vidéo haute résolution, comme l'efficacité des codecs augmente légèrement avec la résolution, mais pour cette correction, vous devez prendre en compte la résolution de la section d'encodage (tranches, une caractéristique des codecs qui vous permet d'encoder de la vidéo avec des blocs de résolution fractionnaire semi-indépendants).

Pour le débit binaire obtenu par la formule ci-dessus, il est conseillé de prédéterminer les valeurs maximales en fonction de la vitesse Internet attendue du client - peu de gens seront à l'aise de regarder une vidéo de très haute qualité mais constamment tamponnée.

C'est pourquoi il n'est pas pratique d'utiliser les paramètres Q des codecs (perroquets de qualité) - des valeurs fixes donnent un débit final imprévisible.

maxRate est mieux fait avec une marge, car les codecs peuvent ne pas conserver avec précision les valeurs requises, même avec un codage à deux passes.

Pour maintenir la qualité des scènes dynamiques, il est préférable d'activer le mode VBR des codecs, cependant, minRate est préférable de définir au moins 90% du débit binaire total afin que les pics de débit ne conduisent pas à des sous-exécutions de tampon.

Des utilitaires comme Intel VPA, ffprobe et Python sont utiles dans le contrôle de la qualité. En utilisant ce dernier, il est commode de faire des comparaisons de la source et de la vidéo convertie, de lire des métriques arbitraires, telles que l'écart moyen des pixels.

Le calcul du PSNR et du SSIM en pratique est extrêmement inefficace en raison des optimisations psychovisuelles, qui sont incluses dans les codecs par défaut. Si vous souhaitez calculer ces métriques de manière plus ou moins adéquate, vous pouvez désactiver les optimisations via

 -tune [psnr|ssim] 

Cependant, le fichier final sera bien sûr différent de celui créé sans ces drapeaux.

Aperçu

Le principal problème de la génération d'images miniatures est une source floue. La définition et la recherche d'images claires est une tâche très simple et gourmande en ressources. Heureusement, la solution à ce problème dans la plupart des codecs est incluse dans le processus de codage vidéo. Vous pouvez prendre l'image clé la plus proche d'une certaine position; de toutes les images qui l'entourent, ce sera la plus claire. Dans ffmpeg, cela peut être fait comme ceci:

 -ss [] -vf \"select='eq(pict_type,PICT_TYPE_I)'\" -vsync vfr 

Les encodeurs standard ne compressent pas de la meilleure façon, donc après avoir reçu l'image, il est préférable de la compresser avec quelque chose comme optipng - économisant en moyenne 500 Ko sur les aperçus FHD.

Les images haute résolution sont mieux réalisées entrelacées. Ainsi, nous augmenterons légèrement la taille (de 5 à 10%), mais réduirons sérieusement le temps d'affichage sur la page de chargement.

L'article s'est déjà révélé dense, et j'ai des doutes sur le fait que toutes les informations doivent être regroupées dans un seul texte énorme. Si vous êtes intéressé à poursuivre sur ce sujet, écrivez dans les commentaires ou marquez dans le sondage.

La plateforme est fermée, mais vous pouvez voir son travail ici .

_{* Je n'ai aucun lien avec les auteurs des sites respectifs et je ne peux pas partager leurs points de vue et opinions. Je ne peux pas commenter les décisions concernant qui et comment l'accès au code est accordé.}

Prêt à répondre aux questions.