Geekly articles weekly

FFmpeg Erste Schritte mit Visual Studio

Hallo! Zunächst entwickle ich ein Programm zur Ermittlung der Fahrzeugnummern auf einem billigen Prozessor mit geringem Stromverbrauch wie Intel ATOM Z8350. Wir haben ziemlich gute Ergebnisse bei der Bestimmung russischer Zahlen in einem statischen Bild (bis zu 97%) mit guter Leistung ohne Verwendung neuronaler Netze erzielt. Das einzige, was noch übrig ist, ist klein - arbeiten Sie mit der IP-Kamera Abb. 1.

Bild
Abbildung 1 Intel ATOM Z83II Computer und ATIS IP-Kamera

FFmpeg ist eine Bibliothek zum Erstellen von Videoanwendungen oder sogar Allzweckdienstprogrammen, die die harte Arbeit der Videoverarbeitung übernimmt und das gesamte Decodieren, Codieren, Multiplexen und Demultiplexen für Sie erledigt.

Aufgabe : Die Full HD IP-Kamera im Standard h.264 überträgt den RTSP-Stream. Die dekomprimierte Bildgröße beträgt 1920 x 1080 Pixel, die Frequenz 25 Bilder pro Sekunde. Es ist notwendig, decodierte Frames im RAM zu empfangen und alle 25 Frames auf der Festplatte zu speichern.

In diesem Beispiel werden Frames programmgesteuert dekodiert. Ziel ist es, den Umgang mit FFmpeg zu lernen und die mit der Hardware-Decodierung erzielten Ergebnisse weiter zu vergleichen. Sie werden FFmpeg sehen - es ist einfach!

FFmpeg installieren : Viele Leute schlagen vor, FFmpeg für ihre Hardware zu erstellen. Ich schlage vor, Zeranoe-Builds zu verwenden , was die Aufgabe erheblich vereinfacht. Es ist sehr wichtig, dass Zeranoe- Baugruppen DXVA2 unterstützen, was uns später für die Hardware-Dekodierung nützlich sein wird.

Wir besuchen die Website https://ffmpeg.zeranoe.com/builds/ und laden 2 freigegebene und Entwicklerarchive herunter, bevor wir 32 oder 64 Bit auswählen. Das Entwicklungsarchiv speichert Bibliotheken (.lib) und enthält. Das freigegebene Archiv enthält die erforderlichen DLLs, die in einem Ordner mit Ihrem zukünftigen Programm neu geschrieben werden müssen.

Erstellen Sie also den Ordner ffmpeg auf dem Laufwerk C: \. Wir werden die Dateien aus dem Entwicklerarchiv neu schreiben.

Verbinden von FFmpeg mit Visual Studio 2017: Erstellen eines neuen Projekts. Gehen Sie zu den Projekteigenschaften (Projekteigenschaften). Als nächstes C / C ++ und wählen Sie "Zusätzliche Verzeichnisse für eingeschlossene Dateien". Stellen Sie den Wert ein: "C: \ ffmpeg \ dev \ include;". Wechseln Sie danach zu den Linker-Additional Library Directories und setzen Sie den Wert auf "C: \ ffmpeg \ dev \ lib;". Das ist alles. FFmpeg ist mit unserem Projekt verbunden.

Das erste Projekt mit FFmpeg: Software-Videodecodierung und Aufzeichnung von jeweils 25 Bildern auf Festplatte. Das Prinzip der Arbeit mit einer Videodatei in FFmpeg ist im Blockschaltbild von Abb. 2 dargestellt

Bild
Abb. 2 Blockdiagramm der Arbeit mit einer Videodatei.

Hier ist der C ++ - Projektcode
// 21  2019 //  ,  ,   http://dranger.com/ffmpeg/tutorial01.html // #include "pch.h" extern "C" { #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale.h> #include <libavformat/avio.h> #include <libavutil/pixdesc.h> #include <libavutil/hwcontext.h> #include <libavutil/opt.h> #include <libavutil/avassert.h> #include <libavutil/imgutils.h> #include <libavutil/motion_vector.h> #include <libavutil/frame.h> } <cut /> #include <stdio.h> #include <stdlib.h> #include <string.h> #pragma comment(lib, "avcodec.lib") #pragma comment(lib, "avformat.lib") #pragma comment(lib, "swscale.lib") #pragma comment(lib, "avdevice.lib") #pragma comment(lib, "avutil.lib") #pragma comment(lib, "avfilter.lib") #pragma comment(lib, "postproc.lib") #pragma comment(lib, "swresample.lib") #define _CRT_SECURE_NO_WARNINGS #pragma warning(disable : 4996) // compatibility with newer API #if LIBAVCODEC_VERSION_INT < AV_VERSION_INT(55,28,1) #define av_frame_alloc avcodec_alloc_frame #define av_frame_free avcodec_free_frame #endif void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) { FILE *pFile; char szFilename[32]; int y; //        sprintf(szFilename, "frame%d.ppm", iFrame); pFile = fopen(szFilename, "wb"); if (pFile == NULL) return; //    fprintf(pFile, "P6\n%d %d\n255\n", width, height); //    for (y = 0; y < height; y++) fwrite(pFrame->data[0] + y * pFrame->linesize[0], 1, width * 3, pFile); //   fclose(pFile); } <cut /> int main(int argc, char *argv[]) { AVFormatContext *pFormatCtx = NULL; int i, videoStream; AVCodecContext *pCodecCtxOrig = NULL; AVCodecContext *pCodecCtx = NULL; AVCodec *pCodec = NULL; AVFrame *pFrame = NULL; AVFrame *pFrameRGB = NULL; AVPacket packet; int frameFinished; int numBytes; uint8_t *buffer = NULL; struct SwsContext *sws_ctx = NULL; if (argc < 2) { printf("Please provide a movie file\n"); return -1; } //      av_register_all(); //     if (avformat_open_input(&pFormatCtx, argv[1], NULL, NULL) != 0) return -1; //     //      if (avformat_find_stream_info(pFormatCtx, NULL) < 0) return -1; //     : , ,    av_dump_format(pFormatCtx, 0, argv[1], 0); //    videoStream = -1; for (i = 0; i < pFormatCtx->nb_streams; i++) if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) { videoStream = i; break; } if (videoStream == -1) return -1; //   <cut /> //      pCodecCtxOrig = pFormatCtx->streams[videoStream]->codec; //      pCodec = avcodec_find_decoder(pCodecCtxOrig->codec_id); if (pCodec == NULL) { fprintf(stderr, "Unsupported codec!\n"); return -1; //    } //   pCodecCtx = avcodec_alloc_context3(pCodec); if (avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) { fprintf(stderr, "Couldn't copy codec context"); return -1; //   } //   if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) return -1; //     //     pFrame = av_frame_alloc(); //      RGB pFrameRGB = av_frame_alloc(); if (pFrameRGB == NULL) return -1; //        numBytes = avpicture_get_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height); buffer = (uint8_t *)av_malloc(numBytes * sizeof(uint8_t)); //      . avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height); //  SWS context       RGB sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL ); <cut /> //     25    i = 0; while (av_read_frame(pFormatCtx, &packet) >= 0) { //    ? if (packet.stream_index == videoStream) { //    avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet); //    ? if (frameFinished) { //    RGB sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize); //     if (++i % 25 == 0) SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height,i); } } //   av_free_packet(&packet); } //      av_free(buffer); av_frame_free(&pFrameRGB); av_frame_free(&pFrame); avcodec_close(pCodecCtx); avcodec_close(pCodecCtxOrig); avformat_close_input(&pFormatCtx); return 0; }


Weil Meine IP-Kamera hat IP 192.168.1.168, dann der Programmaufruf:

 decode.exe rtsp://192.168.1.168

Dieses Beispiel kann auch Videodateien dekodieren. Es reicht aus, den Speicherort anzugeben.

In diesem Beispiel haben wir gelernt, Videodateien programmgesteuert zu dekodieren und die empfangenen Frames auf der Festplatte zu speichern. Frames werden im PPM-Format gespeichert. Sie können IrfanView 64 oder GIMP unter Windows verwenden, um diese Dateien zu öffnen.

Schlussfolgerung: Die Software-Decodierung des RTSP Full HD H.264-Streams erfordert bis zu zwei Intel ATOM Z8350-Kerne. Außerdem tritt regelmäßig ein Paketverlust auf, aufgrund dessen einige Frames falsch decodiert werden. Diese Methode eignet sich besser zum Dekodieren aufgezeichneter Videodateien, da kein Echtzeitbetrieb erforderlich ist.

Im nächsten Artikel werde ich Ihnen erklären, wie Sie den RTSP-Stream in Hardware dekodieren.

Archivieren Sie mit dem Projekt

Arbeitsprogramm

Links zu Materialien auf FFmpeg:


1. Das Tutorial zur Arbeit mit FFmpeg, etwas veraltet.
2. Verschiedene nützliche Informationen zu FFmpeg.
3. Informationen zur Verwendung der verschiedenen von FFmpeg bereitgestellten Bibliotheken.

Source: https://habr.com/ru/post/de449198/

More articles:


All Articles