RTMP协议 02 视频Chunk和音频Chunk到底长啥样?

重要概念

RTMP Chunk Header

RTMP Chunk Header的长度不是固定的，分为: 12 Bytes、8 Bytes、4 Bytes、1 Byte 四种，由RTMP Chunk Header前2位决定。

chunk type 与 chunk header length的对应关系 RTMP Chunk Header (12 Bytes) RTMP Chunk Header (8 Bytes) RTMP Chunk Header (4 Bytes) RTMP Chunk Header (1 Byte)

详见RTMP Chunk Header

FLV VideoTagHeader

VideoTagHeader

分析RTMP流时，经常看到与0x17或0x27进行比较的情况，那0x17或0x27究竟是什么东东呢?

• 0x17
1: key frame(for AVC, a seekable frame)关键帧，比如I帧
  7: AVC

• 0x27
1: inter frame(for AVC, a non-seekable frame) 不是关键帧，比如P帧
  7: AVC
  故可通过与0x17或0x27的比较，来判断视频帧是否为关键帧。
  第二个字节是AVPacketType，这个也很常用，用来判断包的类型:
  0x00 -- AVC sequence header （即AVCc 保存AVC的profie和 SPS PPS等信息）
  0x01 -- AVC NALU 普通的NALU
  0X02 -- AVC end of sequence

FLV AudioTagHeader

AudioTagHeader Part 1
AudioTagHeader Part 2

AudioTagHeader的长度为2个字节。
AAC的前4个比特是:二进制的1010，即10进制的10。
当AAC时，第二个字节用于指定包的类型(AACPacketType)。
如果AACPacketType = 0，则是AAC Sequence header(解码信息)；
如果AACPacketType = 1，还是AAC raw(原始音频数据)。

AACPacketType = 0

AAC Sequence header

AACPacketType = 1

AAC raw

RTMP层次(数据发送角度)

RTMP层次(数据发送角度)

H.264的NALU是如何一步步变成RTMP Video Chunk的呢?
AAC的ADTS是如何一步步变成RTMP Audio Chunk的呢?

RTMP Video Chunk (H.264/AVC)

RTMP Video Chunk (H.264/AVC) 封装过程简图

RTMP Video Chunk (H.264/AVC) 封装过程简图

RTMP Video Chunk (H.264/AVC) 封装过程详图

RTMP Video Chunk (H.264/AVC) 封装过程详图

• Video Chunk 举例1 AVC sequence header

  
  AVC sequence header
  Video Chunk 举例1 AVC sequence header

0500000000003f0901000000 // 12字节的RTMP Chunk Header
17  // 1: keyframe 7:AVC 表示是AVC的关键帧
00  // 0x00: 表明当前Packet的类型是 AVC sequence header
000000 // 3字节的Composition Time
// 以下(到结尾）为实际的AVC sequence header
01 // AVC sequence header的开始 固定为0x01
4d // H.264的profile 0x4d即十进制的77 表示是 Main Profile
40
28 // H.264的level
ff
e1 // 即二进制11100001 后5位为SPS的格式 即1
002b // 2个字节 SPS的长度  即十进制的43
// 实际的SPS 以0x67开头
674d4028965200f0044f
cbff88700b4008000003
00080000030197010003
e800000fa00fe31c0da1
62d920
// 一个字节 PPS的个数 
01
// PPS的长度
0004
// 实际的PPS 以0x68开头
68eb7352

AVC sequence header的相关知识详见: AVC sequence header & AAC sequence header

• Video Chunk 举例2 关键帧的Chunk

  
  Video Chunk 举例2 关键帧的Chunk

050000000009590901000000  // 12字节的RTMP Chunk Header
17 // 1: keyframe 7:AVC 表示是AVC的关键帧
01 // 0x01: 表明当前Packet的类型是 NALU
000078
000000020910
// 4个字节 SPS的长度
0000002b
// 实际的SPS 以0x67开头
674d4028965200f0044f
cbff88700b4008000003
00080000030197010003
e800000fa00fe31c0da1
62d920
// 4个字节 PPS的长度
00000004
68eb7352 // 实际的PPS
00000016
06000980009e34000003000040010500000300002880
000008f9 // 关键帧的数据长度(从后续一直到结尾)
658880400afec077814b449b525dc855ff7a0ea8aad586c5
00000300000300000300000300003ebfcc2647000003000
0145000000898000004dc0000030350000003032400000
3038800000303f8000004c80000086800001010000018a
000003b0000030000030000030000030000030000
... // 由于数据量比较大 此处略去若干字节

RTMP Audio Chunk (AAC)

RTMP Audio Chunk (AAC) 封装过程 RTMP Audio Chunk (AAC) 举例

References:

https://my.oschina.net/u/1983790/blog/686521?p=%7B%7BcurrentPage-1%7D%7D
video_file_format_spec_v10_1.pdf