RTMP协议抓包分析拉流过程

RTMP协议规定，播放一个流媒体有两个前提步骤：
第一步，建立一个网络连接（NetConnection）。
第二步，建立一个网络流（NetStream）。
网络连接代表服务器端应用程序和客户端之间基础的连通关系，网络流代表了发送多媒体数据的通道。服务器和客户端之间只能建立一个网络连接，但是基于该连接可以创建很多网络流。

播放一个RTMP协议的流媒体需要经过四个阶段：

下面是使用librtmp执行拉流过程的API调用流，如下：

RTMP定义了较为完善的协议标准，但是每种播放工具的实现略有差异，下面是我使用VLC播放器拉流时抓取的报文，使用wireshark分析过程整理为下面的图文。

先看一张总览图，图中显示的报文和时序包含了握手、建立连接、建立流和播放阶段，如下：

还有申明下，以下的流程是根据实际抓包情况分析出来的，由于不同的工具省略了一些不必要的步骤，故不代表标准结果，仅供参考。

由于讲解握手过程的文档资料比较多，我这里就不重复描述了，摘图如下：

个人认为这张图是最符合标准时序的，细节拿捏得非常讲究，虽然很多实现简化了流程。

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 201
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，connect 1 object1
     object1属性列表：
          "app": "live"
          "flashVer": "LNX 9,0,124,2"
          "tcUrl": " rtmp://127001:1935/live "
          "fpad": false
          "capabilities": 15,
          "audioCodes": 4071,
          "videoCodes": 252,
          "videoFunction": 1,
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x05
     Stream ID: 0
负载格式：4字节整型表示，如5000000

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 5
     TypeID: 0x06
     Stream ID: 0
负载格式：5字节整型表示，前4字节为带宽，后1字节为标志，如5000000, 2(动态调整)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x01
     Stream ID: 0
负载格式：4字节整型表示，如4096

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 190
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，_result 1 object1 object2
     object1属性列表：
          "fmsVer": "FMS/3,0,1,123"
          "capabilities": 31,
          End Of Object Marker
     object2属性列表：
          "level": "status"
          "code": "NetConnectionConnectSuccess",
          "description": "Connection succeeded",
          "objectEncoding": 0
          End Of Object Marker

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x05
     Stream ID: 0
负载格式：4字节整型表示，如5000000

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 1
     CSID: 3
     时间戳：0
     BodySize: 25
     TypeID: 0x14
负载格式：AMF0表示，createStream 2 object(Null)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 29
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，_result 2 object(Null) Number(1)

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 8
     时间戳：0
     BodySize: 30
     TypeID: 0x14
     Stream ID: 1
负载格式：AMF0表示，play 4 Object(Null) String节目ID("a") Number开始时间(-2000)

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 1
     CSID: 2
     时间戳：1
     BodySize: 10
     TypeID: 0x04
负载格式：Event Type，2字节的类型(3) 4字节的流ID(1) 4字节的MS时间单位(3000)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 6
     TypeID: 0x04
负载格式：Event Type，2字节的类型(0) 4字节的流ID(1)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 5
     时间戳：0
     BodySize: 96
     TypeID: 0x14
     Stream ID: 1
负载格式：AMF0表示，onStatus 0 Object1(Null) object2
     object2属性列表：
          "level": "status"
          "code": "NetStreamPlayStart",
          "description": "Start live",
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 5
     时间戳：0
     BodySize: 387
     TypeID: 0x12
     Stream ID: 1
负载格式：AMF0表示，onMetaData object
     object属性列表：
          "Server": "NGINX RTMP"
          "width": 480,
          "height": 270,
          "displayWidth": 480,
          "displayHeight": 270,
          "duration": 0,
          "framerate": 16,
          "fps": 16,
          "videodatarate": 193,
          "videocodeid": 7,
          "audiodatarate": 52,
          "audiocodeid": 10,
          "profile": "",
          "level": "",
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 6
     时间戳：0
     BodySize: 209
     TypeID: 0x08
     Stream ID: 1
负载格式：格式头，媒体数据

结合以上分析，总结时序图如下：

另外，关于HeaderType和CSID的运用，先归纳使用情况：
0x14(connect) HeaderType: 0 CSID: 3
0x05(Ack Window Size) HeaderType: 0 CSID: 2
0x06(BrandWidth) HeaderType: 0 CSID: 2
0x01(ChunkSize) HeaderType: 0 CSID: 2
0x14(connect _result) HeaderType: 0 CSID: 3
0x14(createStream) HeaderType: 1 CSID: 3
0x14(createStream _result) HeaderType: 0 CSID: 3
0x14(play) HeaderType: 0 CSID: 8
0x04(SetBufferMS) HeaderType: 1 CSID: 2
0x04(Stream Begin) HeaderType: 0 CSID: 2
0x14(play onStatus) HeaderType: 0 CSID: 5
0x12(onMetaData) HeaderType: 0 CSID: 5
0x08(audioData) HeaderType: 0 CSID: 6
0x09(videoData) HeaderType: 0 CSID: 7

总结：
关于HeaderType的运用，有以下规则：
createStream使用1号HeaderType，借用3号CSID之前的StreamID。
SetBufferMS使用1号HeaderType。
audioData和videoData视情况使用0、1、2、3号HeaderType。
关于CSID的运用，有以下规则：

最新的RTMP直播源，请低调使用‍ <m rtmp="rtmp://20210279114:554/live/" src="tv14" label="cctv1" bold="1" size="14" color="#006000, #642100"/> <m rtmp="rtmp://20210279114:554/live/" src="tv15" label="cctv2" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv30" label="cctv3" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv07" label="cctv4" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv13" label="cctv5" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv31" label="cctv6" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv32" label="cctv8" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv91" label="cctv10" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv22" label="cctv13" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv01" label="江苏城市" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv02" label="江苏卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv03" label="江苏综艺" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv04" label="江苏影视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv05" label="江苏休闲" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv51" label="江苏公共" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv06" label="优漫卡通" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv08" label="旅游卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv09" label="新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv10" label="湖南卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv11" label="东方卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv12" label="南京十八" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv16" label="辽宁卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv17" label="银晟影院" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv18" label="浙江卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv19" label="重庆卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv20" label="电子竞技" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv21" label="中国教育1" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv23" label="东方财经" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv24" label="好享购物" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv25" label="北京卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv26" label="湖北卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv27" label="安徽卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv28" label="幸福TV" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv34" label="凤凰资讯" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv50" label="靓妆" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv60" label="苏州新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv61" label="常州新闻" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv62" label="盐城综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv63" label="南通综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv70" label="无锡新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv71" label="泰州综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv72" label="镇江新闻频道" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv73" label="徐州新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv80" label="连云港新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv81" label="缩仟综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv82" label="淮安新闻综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv83" label="未知" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://20210279114:554/live/" src="tv90" label="[V]音乐" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv01" label="武汉综合" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv02" label="武汉文艺" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv03" label="武汉科教" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv04" label="WETV武汉教育" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv05" label="天津卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv06" label="安徽卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv08" label="山东卫视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv09" label="武汉-1" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv10" label="武汉-2" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv11" label="武汉-3" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv12" label="武汉影视" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv13" label="武汉体育" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv14" label="武汉国际" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv15" label="武汉少儿" bold="1" size="14" color="#006000, #642100"/><m rtmp="rtmp://1135723025:554/live/" src="tv16" label="浙江卫视" bold="1" size="14" color="#006000, #642100"/></m>

---