FFmpeg Introdução ao Visual Studio

Oi Para começar, estou desenvolvendo um programa para determinar o número de carros em um processador barato de baixa potência, como o Intel ATOM Z8350. Obtivemos bons resultados na determinação de números russos em uma imagem estática (até 97%) com bom desempenho sem o uso de redes neurais. A única coisa que resta é pequena - trabalhe com a câmera IP Fig. 1.

imagem
Figura 1 Computador Intel ATOM Z83II e câmera IP ATIS

O FFmpeg é uma biblioteca para criar aplicativos de vídeo ou mesmo utilitários de uso geral que exige todo o trabalho duro do processamento de vídeo, fazendo toda a decodificação, codificação, multiplexação e desmultiplexação para você.

Tarefa : A câmera IP Full HD no padrão h.264 transmite o fluxo RTSP. O tamanho do quadro descompactado é de 1920x1080 pixels, a frequência é de 25 quadros por segundo. É necessário receber quadros decodificados na RAM e salvar a cada 25 quadros no disco.

Neste exemplo, decodificaremos quadros programaticamente. O objetivo é aprender a usar o FFmpeg e comparar ainda mais os resultados obtidos usando a decodificação de hardware. Você verá o FFmpeg - é fácil!

Instalando o FFmpeg : muitas pessoas sugerem a criação do FFmpeg para seu hardware. Sugiro usar zeranoe builds , o que simplifica bastante a tarefa. É muito importante que os conjuntos zeranoe incluam suporte ao DXVA2, que será útil mais tarde para decodificação de hardware.

Vamos ao site https://ffmpeg.zeranoe.com/builds/ e baixamos 2 arquivos compartilhados e de desenvolvimento antes de escolher 32 ou 64 bits. O arquivo dev armazena bibliotecas (.lib) e inclui. O arquivo compartilhado contém as DLLs necessárias que precisarão ser reescritas em uma pasta com o seu programa futuro.

Portanto, crie a pasta ffmpeg na unidade C: \. Reescreveremos os arquivos do arquivo dev.

Conectando o FFmpeg ao Visual Studio 2017: criando um novo projeto. Vá para as propriedades do projeto (Projeto - propriedades). Em seguida, C / C ++ e selecione "Diretórios adicionais para arquivos incluídos". Defina o valor: "C: \ ffmpeg \ dev \ include;". Depois disso, vá para os Diretórios de bibliotecas adicionais do vinculador e defina o valor como "C: \ ffmpeg \ dev \ lib;". Só isso. O FFmpeg está conectado ao nosso projeto.

O primeiro projeto com o FFmpeg: decodificação de vídeo por software e gravação de cada 25 quadros em disco. O princípio de trabalhar com um arquivo de vídeo no FFmpeg é apresentado no diagrama de blocos da Fig. 2

imagem
Fig. 2 Diagrama em bloco do trabalho com um arquivo de vídeo.

Aqui está o código do projeto C ++
// 21  2019 //  ,  ,   http://dranger.com/ffmpeg/tutorial01.html // #include "pch.h" extern "C" { #include <libavcodec/avcodec.h> #include <libavformat/avformat.h> #include <libswscale/swscale.h> #include <libavformat/avio.h> #include <libavutil/pixdesc.h> #include <libavutil/hwcontext.h> #include <libavutil/opt.h> #include <libavutil/avassert.h> #include <libavutil/imgutils.h> #include <libavutil/motion_vector.h> #include <libavutil/frame.h> } <cut /> #include <stdio.h> #include <stdlib.h> #include <string.h> #pragma comment(lib, "avcodec.lib") #pragma comment(lib, "avformat.lib") #pragma comment(lib, "swscale.lib") #pragma comment(lib, "avdevice.lib") #pragma comment(lib, "avutil.lib") #pragma comment(lib, "avfilter.lib") #pragma comment(lib, "postproc.lib") #pragma comment(lib, "swresample.lib") #define _CRT_SECURE_NO_WARNINGS #pragma warning(disable : 4996) // compatibility with newer API #if LIBAVCODEC_VERSION_INT < AV_VERSION_INT(55,28,1) #define av_frame_alloc avcodec_alloc_frame #define av_frame_free avcodec_free_frame #endif void SaveFrame(AVFrame *pFrame, int width, int height, int iFrame) { FILE *pFile; char szFilename[32]; int y; //        sprintf(szFilename, "frame%d.ppm", iFrame); pFile = fopen(szFilename, "wb"); if (pFile == NULL) return; //    fprintf(pFile, "P6\n%d %d\n255\n", width, height); //    for (y = 0; y < height; y++) fwrite(pFrame->data[0] + y * pFrame->linesize[0], 1, width * 3, pFile); //   fclose(pFile); } <cut /> int main(int argc, char *argv[]) { AVFormatContext *pFormatCtx = NULL; int i, videoStream; AVCodecContext *pCodecCtxOrig = NULL; AVCodecContext *pCodecCtx = NULL; AVCodec *pCodec = NULL; AVFrame *pFrame = NULL; AVFrame *pFrameRGB = NULL; AVPacket packet; int frameFinished; int numBytes; uint8_t *buffer = NULL; struct SwsContext *sws_ctx = NULL; if (argc < 2) { printf("Please provide a movie file\n"); return -1; } //      av_register_all(); //     if (avformat_open_input(&pFormatCtx, argv[1], NULL, NULL) != 0) return -1; //     //      if (avformat_find_stream_info(pFormatCtx, NULL) < 0) return -1; //     : , ,    av_dump_format(pFormatCtx, 0, argv[1], 0); //    videoStream = -1; for (i = 0; i < pFormatCtx->nb_streams; i++) if (pFormatCtx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) { videoStream = i; break; } if (videoStream == -1) return -1; //   <cut /> //      pCodecCtxOrig = pFormatCtx->streams[videoStream]->codec; //      pCodec = avcodec_find_decoder(pCodecCtxOrig->codec_id); if (pCodec == NULL) { fprintf(stderr, "Unsupported codec!\n"); return -1; //    } //   pCodecCtx = avcodec_alloc_context3(pCodec); if (avcodec_copy_context(pCodecCtx, pCodecCtxOrig) != 0) { fprintf(stderr, "Couldn't copy codec context"); return -1; //   } //   if (avcodec_open2(pCodecCtx, pCodec, NULL) < 0) return -1; //     //     pFrame = av_frame_alloc(); //      RGB pFrameRGB = av_frame_alloc(); if (pFrameRGB == NULL) return -1; //        numBytes = avpicture_get_size(AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height); buffer = (uint8_t *)av_malloc(numBytes * sizeof(uint8_t)); //      . avpicture_fill((AVPicture *)pFrameRGB, buffer, AV_PIX_FMT_RGB24, pCodecCtx->width, pCodecCtx->height); //  SWS context       RGB sws_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_RGB24, SWS_BILINEAR, NULL, NULL, NULL ); <cut /> //     25    i = 0; while (av_read_frame(pFormatCtx, &packet) >= 0) { //    ? if (packet.stream_index == videoStream) { //    avcodec_decode_video2(pCodecCtx, pFrame, &frameFinished, &packet); //    ? if (frameFinished) { //    RGB sws_scale(sws_ctx, (uint8_t const * const *)pFrame->data, pFrame->linesize, 0, pCodecCtx->height, pFrameRGB->data, pFrameRGB->linesize); //     if (++i % 25 == 0) SaveFrame(pFrameRGB, pCodecCtx->width, pCodecCtx->height,i); } } //   av_free_packet(&packet); } //      av_free(buffer); av_frame_free(&pFrameRGB); av_frame_free(&pFrame); avcodec_close(pCodecCtx); avcodec_close(pCodecCtxOrig); avformat_close_input(&pFormatCtx); return 0; } 


Porque minha câmera IP possui IP 192.168.1.168, a chamada do programa:

 decode.exe rtsp://192.168.1.168 

Além disso, este exemplo pode decodificar arquivos de vídeo, basta indicar sua localização.

E assim, neste exemplo, aprendemos a decodificar programaticamente arquivos de vídeo e salvar os quadros recebidos em disco. Os quadros são salvos no formato .ppm. Você pode usar o IrfanView 64 ou o GIMP no Windows para abrir esses arquivos.

Conclusão: a decodificação de software do fluxo RTSP Full HD H.264 leva até dois núcleos Intel ATOM Z8350; além disso, a perda de pacotes ocorre periodicamente, devido à decodificação incorreta de parte dos quadros. Este método é mais aplicável à decodificação de arquivos de vídeo gravados, pois a operação em tempo real não é necessária.

No próximo artigo, mostrarei como decodificar o fluxo RTSP no hardware.

Arquivar com o projeto

Programa de trabalho

Links para materiais no FFmpeg:


1. O tutorial sobre como trabalhar com o FFmpeg, um pouco desatualizado.
2. Várias informações úteis sobre o FFmpeg.
3. Informações sobre o uso das várias bibliotecas fornecidas pelo FFmpeg.

Source: https://habr.com/ru/post/pt449198/


All Articles