最简iOS播放器（二）
前言
上篇最简iOS播放器（一）利用ffmpeg和SDL构建了最简iOS播放器，但视频数据是渲染到了SDLWindow上，这个结果肯定不是我们想要的，渲染到UIView上我们才能更好的操作控制视频的播放，本篇的目的便是把数据渲染到UIView上。
正文
一、思路分析
以上篇博客中构建好的项目为基础来改造项目，用UIView代替SDLWindow，用openGL来渲染代替SDLRender。总体架构依然是ffplay的架构，解码线程read_thread基本不变，AVPacket、AVFrame依然用原来的队列管理。由于不再使用SDLEvent，我们创建一个线程video_refresh_thread来刷新一帧画面（ijkplayer便是这么做的）。原来负责刷新、音视频同步等函数基本不变，只修改video_image_display函数，在这个函数里把解码得到的AVFrame数据传到UIView，并在UIView里编写openGL代码渲染视频数据。
二、关于音频
音频的播放可以使用苹果的<AudioToolbox/AudioToolbox.h>库里的AudioQueue或者AudioUnit，也可以直接使用SDL的SDL_audio.h来处理播放音频，为了省事，我这里还是和ffplay一样使用SDL_audio，使用时必须调用的一个函数SDL_SetMainReady();，不然会导致无法播放出声音。
static int audio_open(void *opaque, int64_t wanted_channel_layout, int wanted_nb_channels, int wanted_sample_rate, struct AudioParams *audio_hw_params){
SDL_SetMainReady();
SDL_AudioSpec wanted_spec, spec;
const char *env;
……
}
这里遇到一个问题，SDL_OpenAudioDevice这个函数删除SDLWindow等代码后，竟然无法打开音频，提示错误
SDL_OpenAudio (2 channels, 44100 Hz): Audio subsystem is not initialized
但是使用SDL_OpenAudio却可以，不知道什么原因，只能先使用SDL_OpenAudio，找到方法后再来解决。
while (!(audio_dev = SDL_OpenAudioDevice(NULL, 0, &wanted_spec, &spec, SDL_AUDIO_ALLOW_FREQUENCY_CHANGE | SDL_AUDIO_ALLOW_CHANNELS_CHANGE))) {
……
}
SDL_CloseAudioDevice(audio_dev);
SDL_PauseAudioDevice(audio_dev, 0);
while (SDL_OpenAudio(&wanted_spec, &spec) < 0) {
……
}
SDL_CloseAudio();
SDL_PauseAudio(0);
三、关于视频
修改refresh_loop_wait_event函数
static int video_refresh_thread(void *arg) {
VideoState *is = arg;
double remaining_time = 0.0;
//每remaining_time运行一次循环（刷新一次屏幕）
while (!is->abort_request) {
if (remaining_time > 0.0) {
av_usleep((int64_t)(remaining_time * 1000000.0));
}
remaining_time = REFRESH_RATE;
if (is->show_mode != SHOW_MODE_NONE && (!is->paused || is->force_refresh)) {
video_refresh(is, &remaining_time);
}
}
return 0;
}
修改video_image_display函数
static void video_image_display(VideoState *is){
Frame *vp = frame_queue_peek_last(&is->pictq);
if (vp->frame) {
enum AVPixelFormat sw_pix_fmt = is->viddec.avctx->sw_pix_fmt;
if (sw_pix_fmt == AV_PIX_FMT_YUV420P || sw_pix_fmt == AV_PIX_FMT_YUVJ420P){
VideoFrame *videoFrame = (VideoFrame *)malloc(sizeof(VideoFrame));
videoFrame->width = vp->width;
videoFrame->height = vp->height;
videoFrame->format = AV_PIX_FMT_YUV420P;
videoFrame->planar = 3;
videoFrame->pixels[0] = malloc(vp->width * vp->height);
videoFrame->pixels[1] = malloc(vp->width * vp->height);
videoFrame->pixels[2] = malloc(vp->width * vp->height);
copyYUVFrameData(vp->frame->data[0], videoFrame->pixels[0], vp->frame->linesize[0], vp->width, vp->height);
copyYUVFrameData(vp->frame->data[1], videoFrame->pixels[1], vp->frame->linesize[1], vp->width / 2, vp->height / 2);
copyYUVFrameData(vp->frame->data[2], videoFrame->pixels[2], vp->frame->linesize[2], vp->width / 2, vp->height / 2);
display_frame(glkView, videoFrame);
free(videoFrame->pixels[0]);
free(videoFrame->pixels[1]);
free(videoFrame->pixels[2]);
free(videoFrame);
}
}
}
四、关于线程
SDL里自带线程模块，我们可以直接使用。删除掉SDLEvent后，使用SDLThread创建一个画面刷新的线程，用于刷新每一帧数据。
is->video_refresh_tid = SDL_CreateThread(video_refresh_thread, "video_refresh_thread",is);
五、其他
- main函数改成对外公布的
preparePlayerWindow函数，传递三个参数：UIView、videoStare和播放地址url，解码得到的数据就要渲染到这个UIView上。 - ffplay.c文件里定义的结构体对外公布，移动到ffplay.h头文件里。
- 注释或者删除SDLWindow、SDLRender相关代码（要删的很多，参考ffplay.c里注释掉的代码）
- UIView对外提供
display_frame方法，接收一个视频数据VideoFrame参数，不断调用来刷新画面 - 创建
VideoFrame结构体用于存储传递给UIView的数据
typedef struct VideoFrame VideoFrame;
struct VideoFrame {
int width;
int height;
UInt8 *pixels[AV_NUM_DATA_POINTERS];
int pitches[AV_NUM_DATA_POINTERS];
int planar;
enum AVPixelFormat format;
};
六、shader编写
关于openGl的知识，本人也在学习当中，并非精通，只是略知一二，可以到这里OpenGL ES文集学习
- vertexShader
precision highp float;
varying highp vec2 vv2_texcoord;
attribute highp vec4 av4_position;
attribute highp vec2 av2_texcoord;
uniform mat4 um4_matrix;
void main(){
gl_Position = um4_matrix * av4_position;
vv2_texcoord = av2_texcoord;
}
- FragmentShader
precision highp float;
uniform highp sampler2D samplerY;
uniform highp sampler2D samplerU;
uniform highp sampler2D samplerV;
varying highp vec2 vv2_texcoord;
void main()
{
highp float y = texture2D(samplerY, vv2_texcoord).r;
highp float u = texture2D(samplerU, vv2_texcoord).r - 0.5;
highp float v = texture2D(samplerV, vv2_texcoord).r - 0.5;
highp float r = y + 1.402 * v;
highp float g = y - 0.344 * u - 0.714 * v;
highp float b = y + 1.772 * u;
gl_FragColor = vec4(r, g, b, 1.0);
}
七、openGl
openGl渲染AV_PIX_FMT_YUV420P的核心代码
int widths[frame->planar];
int heights[frame->planar];
if (frame->format == AV_PIX_FMT_YUV420P){
widths[0] = frame->width;
widths[1] = frame->width / 2;
widths[2] = frame->width / 2;
heights[0] = frame->height;
heights[1] = frame->height / 2;
heights[2] = frame->height / 2;
}
glPixelStorei(GL_UNPACK_ALIGNMENT, 1);
for (int i = 0; i < frame->planar; ++i) {
glActiveTexture(GL_TEXTURE0 + i);//设置当前活动的纹理单元
glBindTexture(GL_TEXTURE_2D, plane_textures[i]);//texture绑定
if (frame->format == AV_PIX_FMT_YUV420P){
glTexImage2D(GL_TEXTURE_2D, 0, GL_LUMINANCE, widths[i], heights[i], 0, GL_LUMINANCE, GL_UNSIGNED_BYTE, frame->pixels[i]);
}
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MAG_FILTER, GL_LINEAR);
glTexParameteri(GL_TEXTURE_2D, GL_TEXTURE_MIN_FILTER, GL_LINEAR);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_S, GL_CLAMP_TO_EDGE);
glTexParameterf(GL_TEXTURE_2D, GL_TEXTURE_WRAP_T, GL_CLAMP_TO_EDGE);
glUniform1i(us2_sampler[i], i);
}
总结
相比渲染到SDLWindow，渲染到UIView增加了很多工作量，特别是openGL这块儿的知识，建议先把最简iOS播放器（一）解码流程、openGL等知识了解一下，再来看本篇。本篇里的项目使用软解码解码视频数据，OpenGLES/ES2渲染YUV420，SDL_audio.h播放音频数据，SDL_threa.h管理线程，本来想把硬解码也写到项目里，不过本篇内容已经够多，下篇再专门写一下硬解码，最后再把播放时间、总时长、暂停等功能函数补全，做成一个完整的项目，可能做不怎么好，但是如果不去学习、练习，怎么进步。
播放器参考：
openGl的学习参考：
OpenGL Shading Language(GLSL)学习参考：
