风口持续！22年仍旧稀缺的Android人才！

2022-05-16 本文已影响0人搬砖小老弟

前言

如今音视频的知识纷繁复杂，自己学习非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验。

而音视频从业者基本上有两个层面：一个层面是搞音视频算法，这类人非常少，需要有深的数学能力和算法背景，这类人一般都会选择去大公司，薪水百万是最low 的。

另一个层面是搞工程，这类人相对较多，他们有扎实的理论基础，很强的技术功底，对音频、视频都非常熟悉。这些人工资要比一般开发者高20%左右；随着5G时代的到来，不管作为开发者还是用户，现在我们每天都会接触到各种各样的短视频、直播类的App，与之相关的音视频方向的开发也变得越来越重要。现在有大量的公司开始寻找音视频人才，一个稍好点的音视频人才现在可能会有3-4家公司抢着要。因此，对音视频人才的需求也从小众变成了大众，这更多的是大家对未来市场的预期导致的结果。

小众领域的神秘面纱

但是对于大多数Android开发者来说，从事Android音视频相关的开发可能目前还算是个小众领域，虽然可能目前深入这个领域的开发者还不是太多，但这个方向涉及的知识点可一点都不少。

语言

C/C++：音视频开发经常需要跟底层代码打交道，掌握C/C++是必须的技能。这方面资料很多，相信我们都能找到。
ARM NEON汇编：这是一项进阶技能，在视频编解码、各种帧处理低下时很多都是利用NEON汇编加速，例如FFmpeg/libyuv底层都大量利用了NEON汇编来加速处理过程。虽说它不是必备技能，但有兴趣也可以多多了解，具体资料可以参考ARM社区的教程。

框架

FFmpeg：可以说是业界最出名的音视频处理框架了，几乎囊括音视频开发的所有流程，可以说是必备技能。
libyuv：Google开源的YUV帧处理库，因为摄像头输出、编解码输入输出也是基于YUV格式，所以也经常需要这个库来操作数据（FFmpeg也有提供了这个库里面所有的功能，在libswscale都可以找到类似的实现。不过这个库性能更好，也是基于NEON汇编加速）。
libx264/libx265：目前业界最为广泛使用的H.264/H.265软编解码库。移动平台上虽然可以使用硬编码，但很多时候出于兼容性或画质的考虑，因为不少低端的Android机器，在低码率的场景下还是软编码的画质会更好，最终可能还是得考虑使用软编解码。
OpenGL ES：当今，大部分视频特效、美颜算法的处理，最终渲染都是基于GLES来实现的，因此想要深入音视频的开发，GLES是必备的知识。另外，除了GLES以外，Vulkan也是近几年开始发展起来的一个更高性能的图形API，但目前来看，使用还不是特别广泛。
ExoPlayer/ijkplayer：一个完整的视频类App肯定会涉及视频播放的体验，这两个库可以说是当下业界最为常用的视频播放器了，支持众多格式、协议，如果你想要深入学习视频播放处理，它们几乎也算是必备技能。

打牢基础之后，我们可以循序渐进地增强自己的实际业务能力：

1.在 Android 平台绘制一张图片，使用至少 3 种不同的 API，ImageView，SurfaceView，自定义 View
2.在 Android 平台使用 AudioRecord 和 AudioTrack API 完成音频 PCM 数据的采集和播放，并实现读写音频 wav 文件
3.在 Android 平台使用 Camera API 进行视频的采集，分别使用 SurfaceView、TextureView 来预览 Camera 数据，取到 NV21 的数据回调
4.学习 Android 平台的 MediaExtractor 和 MediaMuxer API，知道如何解析和封装 mp4 文件
5.学习 Android 平台 OpenGL ES API，了解 OpenGL 开发的基本流程，使用 OpenGL 绘制一个三角形
6.学习 Android 平台 OpenGL ES API，学习纹理绘制，能够使用 OpenGL 显示一张图片
7.学习 MediaCodec API，完成音频 AAC 硬编、硬解
8.学习 MediaCodec API，完成视频 H.264 的硬编、硬解
9.串联整个音视频录制流程，完成音视频的采集、编码、封包成 mp4 输出
10.串联整个音视频播放流程，完成 mp4 的解析、音视频的解码、播放和渲染
11.进一步学习 OpenGL，了解如何实现视频的剪裁、旋转、水印、滤镜，并学习 OpenGL 高级特性，如：VBO，VAO，FBO 等等
12.学习 Android 图形图像架构，能够使用 GLSurfaceviw 绘制 Camera 预览画面
13.深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4
14.深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等
15.将 ffmpeg 库移植到 Android 平台，结合上面积累的经验，编写一款简易的音视频播放器
16.将 x264 库移植到 Android 平台，结合上面积累的经验，完成视频数据 H264 软编功能
17.将 librtmp 库移植到 Android 平台，结合上面积累的经验，完成 Android RTMP 推流功能
18.上面积累的经验，做一款短视频 APP，完成如：断点拍摄、添加水印、本地转码、视频剪辑、视频拼接、MV 特效等功能

如何学习音视频开发

这里给大家推荐一套学习路线，并附有相关《音视频开发核心知识点笔记》，相信可以给大家提供一些帮助，有需要的朋友们也可以下载下来随时查漏补缺。

音视频初级入门

音视频初级入门主要是接触Android多媒体展示相关的API，通过单独的列举和使用这些API，对Android音视频处理有一个基本的轮廓，虽然知识点相对来说是比较散的，但是点成线、线成面，基本的基础掌握了，通过学习Android音视频核心的API将音视频的流程串联起来，这样对于音视频的了解和控制就不仅仅局限于最外层的API了，而是能够通过相对底层的方式来加深对Android 音视频开发的认知。