ffmpeg如何从url获取视频帧数据

ffmpeg基本理解

整体可划分为协议层、容器层、编码层与原始数据层四个层次：

协议层：提供网络协议收发功能，可以接收或推送含封装格式的媒体流。协议层由 libavformat 库及第三方库(如 librtmp)提供支持。

容器层：处理各种封装格式。容器层由 libavformat 库提供支持。

编码层：处理音视频编码及解码。编码层由各种丰富的编解码器(libavcodec 库及第三方编解码库(如 libx264))提供支持。

原始数据层：处理未编码的原始音视频帧。原始数据层由各种丰富的音视频滤镜(libavfilter 库)提供支持

这遍文章目针对对ffmpeg基本结构和变量概念有一定了解后，想进一步理清楚个模块之间是如何关联起来，给出一个

清晰具体的流程。

播放器调用通过几个函数将这个流程串联起来，后续一一展开。

FFMPEG的输入对象AVFormatContext的pb字段指向一个AVIOContext。这是一个带有缓存的读写io上层

说明：

AVIOContext对象是一个带有缓早顷旁存IO读写层。

AVIOContext的opaque实际指向一个URLContext对象，这个对象封装了协议对象及协议 *** 作对象，其中prot指向具体的协议 *** 作对象，priv_data指向具体的协议对象。

URLProtocol为协议 *** 作对象，针对每种协议，会有一个这样的对象，每个协议 *** 作对象和一个协议对象关联，比如，文件 *** 作对象为ff_file_protocol，它关联的结陆橡构体是FileContext

aviobuf.c函数中 ffio_fdopen()很重要，分配avio资源并建立对象，将AVIOContext和URLContext关联起来。internal->h = h

ffio_open_whitelist = ffurl_open_whitelist +ffio_fdopen

至此，IO相关部分构造完成啦。

构造FFMPEG的输入对象AVFormatContext的iformat字段指向的对象诸如：

s→iformat 该输入流的Demuxer 存放位置。比如AVInputFormat ff_hls_demuxer

s→priv_data 这个变量很重要：存放对应的AVInputFormat *** 作的上下文信息： 比如hls中的HLSContext

构造好dexuer之后会调用 read_header2() 这个函数开启具体demuxer具体协议解析，hls开始解析：hls_read_header --->parse_playlist→

关于hls协议处理

循环构造AVFormatContext ,AVIOContext变量等。

首先看下 数据结构

然后看下，如何从在hls中 Open the demuxer for each playlist ，此时已经解析完m3u8。继续下面又干什么啦

继续分析hls.c文件获得m3u8解析额ts文件程序做了什么。

其实AVFormatContext *s = pls→parent 此时作用，用的黑白名单和option设置参数，这个函数主要是还是构造访问ts文件的AVIOContext对象用的。

下图乎饥是hls.c中解析ts流流程如下：

https://blog.csdn.net/guofengpu/article/details/54922865 m3u8和ts结构

#include "utils.h"

#include <pthread.h>

#include <libavcodec/avcodec.h>

#include <libavformat/avformat.h>

UdpQueue recvqueue

UdpParam udpParam

//注册av_read_frame的回调函数，斗数举这里只是最简处理，实际应用中应加上出错处理，超时等待...

int read_data(void *opaque, uint8_t *buf, int buf_size) {

int size = buf_size

int ret

// printf("read data %d\n", buf_size)

do 毕斗{

ret = get_queue(&recvqueue, buf, buf_size)

} while (ret)

// printf("read data Ok %d\n", buf_size)

return size

}

#define BUF_SIZE 4096*500

int main(int argc, char** argv) {

init_queue(&recvqueue, 1024*500)

udpParam.argv = argv

udpParam.queue = &recvqueue

uint8_t *buf = av_mallocz(sizeof(uint8_t)*BUF_SIZE)

 

//UDP接收线程

pthread_t udp_recv_thread

pthread_create(&udp_recv_thread, NULL, udp_ts_recv, &udpParam)

pthread_detach(udp_recv_thread)

  

av_register_all()

AVCodec *pVideoCodec, *pAudioCodec

AVCodecContext *pVideoCodecCtx = NULL

AVCodecContext *pAudioCodecCtx = NULL

AVIOContext * pb = NULL

AVInputFormat *piFmt = NULL

AVFormatContext *pFmt = NULL

//step1:申请一个AVIOContext

pb = avio_alloc_context(buf, BUF_SIZE, 0, NULL, read_data, NULL, NULL)

if (!pb) {

fprintf(stderr, "avio alloc failed!\n")

return -1

}

//step2:探测流格式

if (av_probe_input_buffer(pb, &piFmt, "", NULL, 0, 0) < 0) {

fprintf(stderr, "probe failed!\n")

return -1

} else {

fprintf(stdout, "probe success!\n")

fprintf(stdout, "format: %s[%s]\n", piFmt->name, piFmt->long_name)

}

pFmt = avformat_alloc_context()

pFmt->pb = pb //step3:这一步很关键

//step4:打开流

if (avformat_open_input(&pFmt, "", piFmt, NULL) < 0) {

fprintf(stderr, "avformat open failed.\n")

return -1

} else {

fprintf(stdout, "open stream success!\n")

}

//以下就和文件处理一致了

if (av_find_stream_info(pFmt) < 0) {

fprintf(stderr, "could not fine stream.\n")

return -1

}

av_dump_format(pFmt, 0, "", 0)

int videoindex = -1

int audioindex = -1

for (int i = 0 i < pFmt->nb_streams i++) {

if ( (pFmt->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) &&

(videoindex < 0) ) {

videoindex = i

}

if ( (pFmt->streams[i]->codec->codec_type == AVMEDIA_TYPE_AUDIO) &&

(audioindex < 0) ) {

audioindex = i

}

}

if (videoindex < 0 || audioindex < 空碧0) {

fprintf(stderr, "videoindex=%d, audioindex=%d\n", videoindex, audioindex)

return -1

}

AVStream *pVst,*pAst

pVst = pFmt->streams[videoindex]

pAst = pFmt->streams[audioindex]

pVideoCodecCtx = pVst->codec

pAudioCodecCtx = pAst->codec

pVideoCodec = avcodec_find_decoder(pVideoCodecCtx->codec_id)

if (!pVideoCodec) {

fprintf(stderr, "could not find video decoder!\n")

return -1

}

if (avcodec_open(pVideoCodecCtx, pVideoCodec) < 0) {

fprintf(stderr, "could not open video codec!\n")

return -1

}

pAudioCodec = avcodec_find_decoder(pAudioCodecCtx->codec_id)

if (!pAudioCodec) {

fprintf(stderr, "could not find audio decoder!\n")

return -1

}

if (avcodec_open(pAudioCodecCtx, pAudioCodec) < 0) {

fprintf(stderr, "could not open audio codec!\n")

return -1

}

int got_picture

uint8_t samples[AVCODEC_MAX_AUDIO_FRAME_SIZE*3/2]

AVFrame *pframe = avcodec_alloc_frame()

AVPacket pkt

av_init_packet(&pkt)

while(1) {

if (av_read_frame(pFmt, &pkt) >= 0) {

if (pkt.stream_index == videoindex) {

fprintf(stdout, "pkt.size=%d,pkt.pts=%lld, pkt.data=0x%x.", pkt.size, pkt.pts,(unsigned int)pkt.data)

avcodec_decode_video2(pVideoCodecCtx, pframe, &got_picture, &pkt)

if (got_picture) {

fprintf(stdout, "decode one video frame!\n")

}

}else if (pkt.stream_index == audioindex) {

int frame_size = AVCODEC_MAX_AUDIO_FRAME_SIZE*3/2

if (avcodec_decode_audio3(pAudioCodecCtx, (int16_t *)samples, &frame_size, &pkt) >= 0) {

fprintf(stdout, "decode one audio frame!\n")

}

}

av_free_packet(&pkt)

}

}

av_free(buf)

av_free(pframe)

free_queue(&recvqueue)

return 0

}

---