flv.js 1.0 源码学习（四）

四、MP4 编码器

mp4-remuxer.js-MP4Remuxer类-分段MP4生成器

MP4Remuxer

• 1. 属性：都是些基本属性、视频元数据、dts、视频数据段、事件回调、控制状态的
  • 1.1 基本属性 TAG、_config、_isLive
  • 1.2 视频元数据 _audioMeta、_videoMeta
  • 1.3 dts _dtsBase、_dtsBaseInited、_audioDtsBase、_videoDtsBase、_audioNextDts、_videoNextDts
  • 1.4 视频数据段 _audioSegmentInfoList、_videoSegmentInfoList
  • 1.5 事件回调 _onInitSegment、_onMediaSegment，有对应的实例暴露属性
  • 1.6 控制状态 _forceFirstIDR、_fillSilentAfterSeek
• 2. 方法：
  • 2.1 destroy() 和前面的类类似，用来释放变量，回收内存
  • 2.2 bindDataSource(producer) 传入的实际上是解码器，延迟实现了它的 onDataAvailable 和 onTrackMetadata 方法：关联到实例的 remux 和 _onTrackMetadataReceived 方法上，完美承接解码完的数据
  • 2.3 insertDiscontinuity() 为了保证不连续，需要设置实例的 _audioNextDts 和 _videoNextDts 为 undefined
  • 2.4 seek(originalDts) 名为查找，实现确是清除视频音频列表
  • 2.5 remux(audioTrack, videoTrack) 主要子程序：计算基准 dts -> 编音频->编视频
  • 2.6 _onTrackMetadataReceived(type, metadata) 编元数据的盒子，借助 MP- 4.generateInitSegment，最后调用实例的 _onInitSegment 回调
  • 2.7 _calculateDtsBase(audioTrack, videoTrack) 计算基准 dts，取视频和音频之中最小的 dts
  • 2.8 _remuxAudio(audioTrack) 重点子程序，编音频码
    • 2.8.1 生成一个 mdat 盒子
    • 2.8.2 获取各种字段，生成音频帧，填充 mdat 盒子，这里要考虑是否静音
    • 2.8.3 生成音频样本，SampleInfo 类型
    • 2.8.4 将编好的音频推入实例的 _audioSegmentInfoList 里
    • 2.8.5 最后生成 moof 和 mdat 盒子并合并，触发实例的 _onMediaSegment 回调
  • 2.9 _generateSilentAudio(dts, frameDuration) 生成静音音频，借助 AAC- .getSilentFrame
  • 2.10 _remuxVideo(videoTrack) 重点子程序，编视频码
    • 2.10.1 生成一个 mdat 盒子
    • 2.10.2 获取各种字段（重点是 dts 等），将音频样本填充进 mdat 盒子
    • 2.10.3 生成视频样本，SampleInfo 类型
    • 2.10.4 将编好的音视频推入实例的 _videoSegmentInfoList 里
    • 2.10.5 最后生成 moof 和 mdat 盒子并合并，触发实例的 _onMediaSegment 回调
  • 2.11 _mergeBoxes(moof, mdat) 合并 moof 和 mdat 盒子，通过二进制数据的 set 方法

mp4-generator.js-MP4类-MP4盒子生成器

各种box定义

MP4

mp4-remuxer.js-MP4Remuxer类-分段MP4生成器
https://blog.csdn.net/g332065255/article/details/72358520

1. init() 初始化各种格式和盒子的定义
   1.1 总共 30 几个盒子
   1.2 重点定义了 FTYP、STSD_PREFIX、STTS、STSC、STCO、STTS、STSZ、HDLR_VIDEO、HDLR_AUDIO、DREF、SMHD、VMHD 的二进制数组
2. box(type) 根据 type 生成有元信息的初始盒子，1.0.0 版本少了 avcC、tfhd、tfdt
   • moov(meta) Movie metadata
     • mvhd(timescale, duration) Movie header
     • trak(meta) Track box
       • tkhd(meta) Track Header box
       • mdia(meta) Media
         • mdhd(meta) Media header
         • hdlr(meta) Media handler reference
         • minf(meta) Media infomation
           • dinf() Data infomation
         • stbl(meta) Sample table
           • stsd(meta) Sample description
             • mp4a(meta)
             • avc1(meta)
               • esds(meta)
           • stts
           • stsc
           • stsz
           • stco
     • mvex(meta) Movie Extends
       • trex(meta) Track Extends
   • moof(track, baseMediaDecodeTime) Movie fragment
     • mfhd(sequenceNumber) Movie fragment header
     • traf(track, baseMediaDecodeTime) Track fragment
       • sdtp(track) Sample Dependency Type
       • trun(track, offset) Track fragment run
   • mdat(data)
3. generateInitSegment(meta) 发射 ftyp & moov 盒子

aac-silent.js-AAC类-ACC音频编码器

1.0 版本只有一个生成静音帧的函数

ACC

根据信道数量返回相应的二进制数组。