常用视频像素格式NV12、NV21、I420、YV12、YUYV
最近因为任务需要，遇到视频像素格式的问题，学习了NV12和YV12，以及UYVY的具体存储区别。
总结如下：
像素格式描述了像素数据存储所用的格式，定义了像素在内存中的编码方式，RGB和YUV是两种经常使用的像素格式。
RGB：较为熟悉，具有3个通道R G B，分别对应红 绿 蓝三个分量，由三个分量的值决定颜色；通常，会给RGB图像加一个通道alpha，即透明度，于是共有四个分量共同控制颜色。（常用的opencv库默认将图片以BGR的方式进行存储，只是通道顺序不一样而已）
YUV：（YCrCb）是指将亮度参量Y和色度参量U/V分开表示的像素格式，主要用于优化彩色视频信号的传输。
YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的公式如下：
R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U
一般，将RGB和YUV的范围均限制在[0,255]间，则有如下转换公式：
R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)
YUV采样：YUV相比于RGB格式最大的好处是可以做到在保持图像质量降低不明显的前提下，减小文件大小。YUV格式之所以能够做到，是因为进行了采样操作。
YUV码流的存储格式与其采样方式密切相关，主流的采样方式有3种：
YUV 4:4:4(YUV444), YUV 4:2:2(YUV422), YUV 4:2:0(YUV420)
若以以黑点表示采样该像素点的Y分量，以空心圆圈表示采用该像素点的UV分量，则这三种采样方式如下：
即：
YUV 4:4:4采样，每一个Y对应一组UV分量。
YUV 4:2:2采样，每两个Y共用一组UV分量。
YUV 4:2:0采样，每四个Y共用一组UV分量。
YUV存储格式
YUV存储可以分为两种：packed（打包）和planar（平面）；
packed：Y、U、V分量穿插着排列，三个分量存在一个Byte型数组里；
planar：Y、U、V分量分别存在三个Byte型数组中；
常见的像素格式
1.YUV422：YUYV、YVYU、UYVY、VYUY
这四种格式每一种又可以分为2类（packed和planar），以YUYV为例，一个6*4的图像的存储方式如下：
Y Y Y Y Y Y
Y Y Y Y Y Y
Y Y Y Y Y Y
Y Y Y Y Y Y
U U U U U U Y U Y V Y U Y V Y U Y V
U U U U U U Y U Y V Y U Y V Y U Y V
V V V V V V Y U Y V Y U Y V Y U Y V
V V V V V V Y U Y V Y U Y V Y U Y V
- Planar - - Packed:YUYV -
Y Y Y Y Y Y
Y Y Y Y Y Y
Y Y Y Y Y Y
Y Y Y Y Y Y
U U U U U U U Y V Y U Y V Y U Y V Y
U U U U U U U Y V Y U Y V Y U Y V Y
V V V V V V U Y V Y U Y V Y U Y V Y
V V V V V V U Y V Y U Y V Y U Y V Y
- Planar - - Packed:UYVY -
如果实际应用中，从camera那边取到的数据流是UYVY的格式，但是gl显示或者图像处理的相关接口又需要用到BGR或I420（YV12或NV12）的格式，那么就需要写代码进行转换（下面给出一些示例代码片段）：
如果要用opencv的接口将UYVY格式转成YV12格式（则需要先从UYVY转成BGR或RGB,再将BGR或RGB转成YV12）：
//pSrcBuf的存储格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img;
cv::cvtColor(yuv_img, bgr_img, CV_YUV2BGR_UYVY);
//pDstBuf的存储格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::cvtColor(bgr_img, yv12_img, CV_BGR2YUV_YV12);
所以下面直接手动转换，而不调用opencv的cv::cvtColor接口来转换，也可以进一步熟悉存储格式规范。
//从UYVY中获取Y，并存到一个数组
void UYVYToYRow(const char* src_uyvy, char* dst_y, int width) {
// Output a row of Y values.
for (int x = 0; x < width - 1; x += 2) {
dst_y[x] = src_uyvy[1];
dst_y[x + 1] = src_uyvy[3];
src_uyvy += 4;
}
}
//从UYVY中获取UV，并分别存到2个数组
void UYVYToUVRow(const char* src_uyvy, int src_stride_uyvy,
char* dst_u, char* dst_v, int width) {
// Output a row of UV values.
for (int x = 0; x < width-1 ; x += 2) {
dst_u[0] = src_uyvy[0];
dst_v[0] = src_uyvy[2];
src_uyvy += 4;
dst_u += 1;
dst_v += 1;
}
}
int UYVYToI420(const char* src_uyvy, int src_stride_uyvy,
char* dst_y, int dst_stride_y,
char* dst_u, int dst_stride_u,
char* dst_v, int dst_stride_v,
int width, int height) {
for (int y = 0; y < height - 1; y += 2) {
UYVYToUVRow(src_uyvy, src_stride_uyvy, dst_u, dst_v, width);
UYVYToYRow(src_uyvy, dst_y, width);
UYVYToYRow(src_uyvy + src_stride_uyvy, dst_y + dst_stride_y, width);
src_uyvy += src_stride_uyvy * 2;
dst_y += dst_stride_y * 2;
dst_u += dst_stride_u;
dst_v += dst_stride_v;
}
return 0;
}
UYVYToI420( pSrcBuf, w*2,
pDstBuf, w,
pDstBuf + (w*h+w*h/4), w/2, // Put V channel first for YV12
pDstBuf + (w*h), w/2,
w, h
);
那么我如何验证转换前后的格式是否正确呢？可以分别用cv::cvtColor以及cv::imwrite将图像dump到本地查看和对比：
//pSrcBuf的存储格式是UYVY
cv::Mat yuv_img = cv::Mat(height, width, CV_8UC2, pSrcBuf);
cv::Mat bgr_img_src;
cv::cvtColor(yuv_img, bgr_img_src, CV_YUV2BGR_UYVY);
cv::imwrite("UYVY.png", bgr_img_src);
//pDstBuf的存储格式是YV12
cv::Mat yv12_img = cv::Mat(height* 3/2, width, CV_8UC1, pDstBuf);
cv::Mat bgr_img_dst;
cv::cvtColor(picYV12, bgr_img_dst, CV_YUV2BGR_YV12);
cv::imwrite("YV12.png", bgr_img_dst);
-
YUV420
YUV420p: I420、YV12
YUV420sp: NV12、NV21
同样，对于一个6*4的图像，这四种像素格式的存储方式如下：
Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y Y
U U U U U U V V V V V V U V U V U V V U V U V U
V V V V V V U U U U U U U V U V U V V U V U V U
- I420 - - YV12 - - NV12 - - NV21 -
注：
I420、YV12三个分量均为平面格式，即分别存在三个Byte型数组中；
NV12、NV21的存储格式为Y平面，UV打包，即Y信息存储在一个数组中，UV信息存储在一个矩阵中。
原文链接：https://blog.csdn.net/Fan0920/article/details/103710014
