有效绘制字节数组流以在Android中显示的选项

概述简单来说,我需要做的就是在Android中显示视频帧的实时流(每帧都是YUV420格式).我有一个回调函数,我接收单个帧作为字节数组.看起来像这样的东西：publicvoidonFrameReceived(byte[]frame,intheight,intwidth,intformat){//displaythisframetosurfaceviewextu

简单来说,我需要做的就是在Android中显示视频帧的实时流(每帧都是YUV420格式).我有一个回调函数,我接收单个帧作为字节数组.看起来像这样的东西：

public voID onFrameReceived(byte[] frame, int height, int wIDth, int format) {    // display this frame to surfacevIEw/texturevIEw.}

一个可行但很慢的选择是将字节数组转换为Bitmap并在SurfaceVIEw上绘制到画布.在将来,我希望能够改变这个框架的亮度,对比度等,因此我希望我可以使用OpenGL-ES.我有效地做到这一点的其他选择是什么？

请记住,与Camera或MediaPlayer类的实现不同,我无法使用camera.setPrevIEwTexture(surfaceTexture)将输出定向到surfacevIEw / texturevIEw;因为我在C中使用Gstreamer接收单个帧.

解决方法:

我正在为我的项目使用ffmpeg,但渲染YUV帧的原理应该对你自己来说是一样的.

例如,如果一帧是756 x 576,则Y帧将是该大小. U和V框架是Y框架宽度和高度的一半,因此您必须确保考虑尺寸差异.

我不知道相机API,但我从DVB源获得的帧有一个宽度,每条线都有一个步幅.在帧中每行末尾添加像素.如果你的相同,那么在计算纹理坐标时就要考虑到这一点.

调整纹理坐标以考虑宽度和步幅(linesize)：

float u = 1.0f / buffer->y_linesize * buffer->wID; // adjust texture coord for edge

我使用的顶点着色器采用0.0到1.0的屏幕坐标,但您可以更改这些以适应.它还采用纹理坐标和颜色输入.我使用了颜色输入,以便我可以添加淡入淡出等.

顶点着色器：

#ifdef GL_ESprecision mediump float;const float c1 = 1.0;const float c2 = 2.0;#elseconst float c1 = 1.0f;const float c2 = 2.0f;#endifattribute vec4 a_vertex;attribute vec2 a_texcoord;attribute vec4 a_colorin;varying vec2 v_texcoord;varying vec4 v_colorout;voID main(voID){    v_texcoord = a_texcoord;    v_colorout = a_colorin;    float x = a_vertex.x * c2 - c1;    float y = -(a_vertex.y * c2 - c1);    gl_position = vec4(x, y, a_vertex.z, c1);}

片段着色器采用三个均匀纹理,每个Y,U和V一个纹理,并转换为RGB.这也乘以从顶点着色器传入的颜色：

#ifdef GL_ESprecision mediump float;#endifuniform sampler2D u_texturey;uniform sampler2D u_textureu;uniform sampler2D u_texturev;varying vec2 v_texcoord;varying vec4 v_colorout;voID main(voID){    float y = texture2D(u_texturey, v_texcoord).r;    float u = texture2D(u_textureu, v_texcoord).r - 0.5;    float v = texture2D(u_texturev, v_texcoord).r - 0.5;    vec4 rgb = vec4(y + 1.403 * v,                    y - 0.344 * u - 0.714 * v,                    y + 1.770 * u,                    1.0);    gl_Fragcolor = rgb * v_colorout;}

使用的顶点是：

float   x, y, z;    // coordsfloat   s, t;       // texture coordsuint8_t r, g, b, a; // colour and Alpha

希望这可以帮助！

编辑：

对于NV12格式,你仍然可以使用片段着色器,虽然我自己没有尝试过.它将交错的UV作为亮度-α通道或类似物.

在这里查看一个人如何回答这个问题：https://stackoverflow.com/a/22456885/2979092

总结

以上是内存溢出为你收集整理的有效绘制字节数组流以在Android中显示的选项全部内容，希望文章能够帮你解决有效绘制字节数组流以在Android中显示的选项所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。