FLV格式解析

FLV是一个二进制文件，简单来说，其是由一个文件头（FLV header）和很多tag组成（FLV body）。

tag又可以分成三类:audio,video,script，分别代表音频流，视频流，脚本流，而每个tag又由tag header和tag data组成。

FLV整体结构图：

1、FLV文件头结构分析

      FLV文件头结构图：

        FLV文件头由9bytes组成，前3个bytes是文件类型，总是“FLV”，也就是（0x46 0x4C 0x56）。第4btye是版本号，目前一般是0x01。第5byte是流的信息，倒数第一bit是1表示有视频（0x01），倒数第三bit是1表示有音频（0x4），有视频又有音频就是0x01 | 0x04（0x05），其他都应该是0。最后4bytes表示FLV 头的长度，3+1+1+4 = 9。

2、 FLV body结构分析

        FLV body由若干个tag 组成。每一个tag第一部分是tag header，tag header长度为11bytes，但是每个tag header前面有4bytes记录着上一个tag的长度。

        tag结构图：

        tag header：

        1）第1个byte为记录着tag的类型，音频（0x8），视频（0x9），脚本（0x12）；

        2）第2到4bytes是数据区的长度，也就是tag data的长度；

        3）再后面3个bytes是时间戳，单位是毫秒，类型为0x12则时间戳为0，时间戳控制着文件播放的速度，可以根据音视频的帧率类设置；

        4）时间戳后面一个byte是扩展时间戳，时间戳不够长的时候用；

        5）最后3bytes是streamID，但是总为0，再后面就是数据区了（tag data），也即是h264的裸流；

        6）tag header 长度为1+3+3+1+3=11。

        音频TagData结构分析：

        音频参数中各字段的值及其意义如下表所示：

        视频TagData结构：

        Script TagData结构

        Script Tag通常被称为Metadata Tag，会放一些关于FLV视频和音频的元数据信息如：duration、width、height等。通常此类型Tag会跟在File Header后面作为第一个Tag出现，而且只有一个。

        第一个AMF包：

        第1个字节表示AMF包类型，一般总是0x02，表示字符串。第2-3个字节为UI16类型值，标识字符串的长度，一般总是 0x000A（“onMetaData”长度）。后面字节为具体的字符串，一般   为“onMetaData”（6F,6E,4D,65,74,61,44,61,74,61）。

所以第一个AMF包总共占13字节。

        第二个AMF包结构图：

        第1个字节表示AMF包类型，一般总是0x08，表示数组。第2-5个字节为UI32类型值，表示数组元素的个数，后面即为各数组元素的封装。数组元素为元素名称和值组成的对。“数组元素结构”部分是推测，已经确认适用于duration、width、height等常见元素，但并不确认适用于所有元素。常见的数组元素如下表所示。

附上一个flv的查看工具: 地址

Rtmp 分析参见: https://blog.csdn.net/fdsafwagdagadg6576/article/details/109462544

本文主要内容来自：FLV格式详解 https://blog.csdn.net/weixin_42462202/article/details/88661883

该文一层一层介绍了FLV格式. 本文对其内容增加了思维导图并补充了实例.

FLV是一种文件格式.类似的还有Mp4.

将H264,Aac裸流封装成文件格式.

为什么要对裸流做文件格式封装？即FLV文件和原始文件区别？

1 文件播放. 原始文件播放读一帧解析一帧. 没有整体时长,不能拖拽，倍速播放等音视频控制了.

FLV文件因为有FLV tag保存音视频信息。所以可以显示视频时长，播放进度，拖拽，倍速播放等.

2 是协议支持，rtmp协议要求，数据必须Flv格式. rtc协议数据才是裸流。

Flv由 “Flv header” 和 “Flv Body”组成。

Flv Body由一系列的Tag组成，每个Tag又有一个preTagSize字段，标记着前面一个Tag的大小

Header长度一般都是固定的9个字节:

Flv Body由一个一个Tag组成，每个Tag都有一个preTagSize字段，标记着前面一个Tag的大小。

Tag有三种类型, Audio Tag(音频Tag),Video Tag(视频Tag)，script Tag（又称Metadata Tag） .

每个Tag由“Tag Header”和“Tag Data”组成.Tag=Tag Header+Tag Data.

对于不同类型的Tag,“Tag Header”的格式都是相同的，“Tag Body”的格式就不一样了.

图片说明：3种tag的tag header格式一样，只有Tag type 域的值不同，分别是08(音频),09（视频）,12（script data）.

Notes:注意Flv header和Flv tag header是不同的.

下面这张图归纳一下上面讲的内容,看完后对flv应该有个总体的了解了

一般一个flv文件由一个头部信息，一个script Tag，以及若干个video Tag和audio Tag组成。

图片说明：tag之间是previous tag size

2.2.2 每种类型的Tag Data详解

Flv有三种tag：“Audio Tag Data”、“Video Tag Data”、“Script Tag Data”

1)、Audio Tag Data

如果SoundFormat=10，那么 音频数据 就是AAC AUDIO DATA。

notes:音频参数只有一个字节

2)、Video Tag Data

a) 视频参数：

对于H.264数据来说，CodecID = 7。

当CodecID = 7时，视频数据就是 AVCVIDEOPACKET 格式。

b) 视频数据:

下面讲解一下 AVCVIDEOPACKET 。

以下是 AVCDecoderConfigurationRecord 的结构

notes: SPS/PPS 说明

notes: I,P,B帧.h264 没有start code 0x00 00 00 01

c) 实例分析：

i)Tag Header:

Type：09（Tag的类型，包括音频（0x08）、视频（0x09）、script data（0x12））

Datasize：00 00 2e（Tag Data 部分的大小）

Timestamp：00 00 00（时间戳）

Timestamp_ex：00（时间戳的扩展部分）

StreamID：00 00 00（总是0）

ii) Tag data:

因为CodecID=7，所以视频数据就是AVCVIDEOPACKET格式

因为ACVPaketType==0，所以Data=AVCDecoderConfigurationRecord

该类型Tag又通常被称为MetadataTag，会放一些关于FLV视频和音频的元数据信息如：duration、width、height等。通常该类型Tag会跟在FileHeader后面作为第一个Tag出现，而且只有一个。

notes:用amf语法实现metadata数据key-value存储.amf 数据的都是"类型+[长度]+值"的形式.

结构如下图所示

AMF包：第一个字节表示AMF包的类型

第一个AMF包：

第一个字节一般为0x02，表示字符串，第2-3个字节表示字符串的长度，一般为0x000A，后面跟的就是字符串，一般为"onMetaData"。

第二AMF包：

第一个字节为0x08，表示数组，第2-5个字节表示数组元素个数，后面跟着就是数组的元素，格式为：元素名长度（UI16） + 元素名（UI8[n]） + 元素的值(double)，最后以“009”结尾。

常见的数组元素

补充： Nginx-rtmp之 AMF0 的处理 https://www.cnblogs.com/jimodetiantang/p/8975945.html

这篇blog：有具体的抓包实例分析. 对script tag data论述更详细.

notes: amf0和amf3有什么区别?：通常都是amf0, amf3是它的特殊补充.

参见 https://blog.csdn.net/HandSome696/article/details/72518927

图片说明:此图没有对script tag,video tag,audio tag做区分和具体介绍.

其他参考： 多媒体文件格式之FLV: https://www.cnblogs.com/jimodetiantang/p/8992425.html

（有audio,video各个域的详细说明）

---