FFmpeg Fate(FFmpeg automated test environment)自动化测试

官网对FATE的介绍

FATE(FFmpeg Automated Testing Environment): ffmpeg回归测试的套件以及提供了一种在服务器上对测试结果进行聚合和展示的方式。

包含3部分内容：

FFmpeg公开服务器的测试结果： http://fate.ffmpeg.org/

执行下面的命令

会打印下面这些信息：

在FATE中有很多测试，有些测试是自包含的，有些测试还需要额外的资料，在FFmpeg中称之为SAMPLES，可以用下面的方法获取SAMPLES。

执行完整的Fate测试

执行指定的一些Fate测试case，例如

fate-filter-scale500的测试用例的定义

为了看fate-run.sh中每条指令的执行过程，我们用bash -x来跑这个脚本，如下所示。

根据上述命令行输出，最终会找到下面的关键脚本：

还是从上述命令行输出可以看到，eval这行脚本展开后为：

用eval启用的命令，被shell直接当做一条命令处理，无法看到内部的展开情况。作为一个快速方法，我们直接修改脚本中的eval行如下所示。

上述命令行输出很长，大部分篇幅是用来设置最终的ffmpeg的命令行参数，最后得到的命令行参数如上所示（两行省略号之间的那一行）。回顾一下，其实，我们前面在执行 make V=2 fate-filter-scale500 看到的最后一行输出，和这里看到的是相同的。而倒数第二行的e7d6...这一串字符则是ffmpeg的输出结果。我们也可以直接在命令行执行ffmpeg程序，得到相同的结果。

上述ffmpeg命令行参数的最后是-f nut md5:，表示将结果做md5的输出，输出一个字符串。会与/tests/ref/fate中的值进行对比。

在filter-video.mak 中，变量CMD

测试结果判断

回到fate-run.sh，再看一下eval行。

不管是md5输出、crc输出还是rawvideo输出，都会被重定向到outfile文件内容和参考文件内容比较，得出测试是pass还是fail的结论。一般来说，参考文件被保存在目录ffmpeg/tests/ref/fate/下。而对于rawvideo输出，情况略有不同。

有了crc和md5后，为什么还要rawvideo？有些处理过程中涉及到了float运算，或者frame的格式就是float相关的，那么，由于不同架构CPU的输出结果在浮点数 *** 作上会略有不同，而FFmpeg是跨平台支持诸如X86、ARM、PowerPC等多种CPU的，我们就无法用crc或者md5这种bit-exact的方法进行比较了，只能采用基于rawvideo的方式进行比较，并且允许存在一定的偏差。在FATE中，可以用oneoff的方法进行rawvideo的比较，在filter-video.mak文件中差不多可以这样写：

在fate-run.sh中，oneoff最终会调用tiny_psnr，如下所示。大致意思就是根据filter-video.mak文件中的参数设置，对当前测试得到的rawvideo文件和参考文件做个比较，判断两者是否相同。

理解FFmpeg Fate脚本需要一些基础：

利用FFmpeg解析音视频流,音视频流可以来自一个标准的RTMP的URL或者是一个文件. 通过解析得到音视频流,进一步就可以解码, 然后视频渲染在屏幕上,音频通过扬声器输出.

利用FFmpeg框架中libavformat模块可以通过函数 av_read_frame 解析出音视频流的音视频数据,如果直接使用FFmpeg硬解,仅需要解析到AVPacket即可传给解码模块使用,如果使用VideoToolbox中的硬解, 对于视频数据,还需要获取其NALU Header中的(vps)sps, pps以便后续使用.

使用流程

FFmpeg parse流程

下面的链接中包含搭建iOS需要的FFmpeg环境的详细步骤,需要的可以提前阅读.

iOS手动编译并搭建FFmpeg

导入FFmpeg框架后,首先需要将用到FFmpeg的文件改名为.mm, 因为涉及C,C++混编,所以需要更改文件名

然后在头文件中导入FFmpeg头文件.

注意: FFmpeg是一个广为流传的框架,其结构复杂,一般导入都按照如上格式,以文件夹名为根目录进行导入,具体设置,请参考上文链接.

2.1. 注册FFmpeg

一般在程序中的main函数或是主程序启动的代理方法 - (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions 中初始化FFmpeg,执行一次即可.

2.2. 利用视频文件生成格式上下文对象

C++音视频开发学习资料 ：点击领取 音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

2.3. 获取Audio / Video流的索引值.

通过遍历format context对象可以从 nb_streams 数组中找到音频或视频流索引,以便后续使用

2.4. 是否支持音视频流

目前视频仅支持H264, H265编码的格式.实际过程中,解码得到视频的旋转角度可能是不同的,以及不同机型可以支持的解码文件格式也是不同的,所以可以用这个方法手动过滤一些不支持的情况.具体请下载代码观看,这里仅列出实战中测试出支持的列表.

音频本例中仅支持AAC格式.其他格式可根据需求自行更改.

使用AVPacket这个结构体来存储压缩数据.对于视频而言, 它通常包含一个压缩帧,对音频而言,可能包含多个压缩帧,该结构体类型通过 av_malloc() 函数分配内存,通过 av_packet_ref() 函数拷贝,通过 av_packet_unref(). 函数释放内存.

解析数据

int av_read_frame(AVFormatContext *s, AVPacket *pkt): 此函数返回存储在文件中的内容，并且不验证解码器的有效帧是什么。它会将存储在文件中的内容分成帧，并为每次调用返回一个。它不会在有效帧之间省略无效数据，以便为解码器提供解码时可能的最大信息。

获取sps, pps等NALU Header信息

通过调用av_bitstream_filter_filter可以从码流中过滤得到sps, pps等NALU Header信息.

av_bitstream_filter_init: 通过给定的比特流过滤器名词创建并初始化一个比特流过滤器上下文.

av_bitstream_filter_filter: 此函数通过过滤buf参数中的数据,将过滤后的数据放在poutbuf参数中.输出的buffer必须被调用者释放.

此函数使用buf_size大小过滤缓冲区buf，并将过滤后的缓冲区放在poutbuf指向的缓冲区中。

注意: 下面使用new_packet是为了解决av_bitstream_filter_filter会产生内存泄漏的问题.每次使用完后将用new_packet释放即可.

可以根据自己的需求自定义时间戳生成规则.这里使用当前系统时间戳加上数据包中的自带的pts/dts生成了时间戳.

本例将获取到的数据放在自定义的结构体中,然后通过block回调传给方法的调用者,调用者可以在回调函数中处理parse到的视频数据.

获取parse到的音频数据

因为我们已经将packet中的关键数据拷贝到自定义的结构体中,所以使用完后需要释放packet.

parse完成后释放相关资源

C++音视频开发学习资料 ：点击领取 音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

注意: 如果使用FFmpeg硬解,则仅仅需要获取到AVPacket数据结构即可.不需要再将数据封装到自定义的结构体中

---