《OpenGLES 2.0 Programming Guide》学习笔记（持续更新)

《OpenGLES 2.0 Programming Guide》 学习笔记

1 介绍OpenGLES

gles由KhronosGroup创立，目前有3个版本1.0,1.1(统称1.x)和2.0。ES1.0,1.1由OpenGL1.3,1.5继承而来，ES2.0由OpenGL2.0继承而来。

OpenGLES 2.0的specifications有两份：theOpenGL ES 2.0 API specification和theOpenGL ES Shading Language Specification(OpenGL ES SL)。

下图是ES2.0的图形流水线，灰色的方框是可编程阶段。

VertexShader

vs实现了一种作用于顶点的通用可编程方法。Vs的输入由以下几种组成：

1）Attributes– 由顶点数组提供的Per-vertexdata。

2）Uniforms– vs使用的常量数据

3）Samplers– 一种特殊的uniform,用于表示vs使用的纹理。Samplers对于vs是可选的。

4）Shaderprogram – vs程序，源代码或者可执行的，描述了对于顶点进行的操作。

Vs的输出叫做varying变量。在primitiverasterization阶段，varying的值对于每个生成的fragment进行计算，并将结果作为输入传递给fragmentshader。从赋予图元每个顶点的varying值为每个fragment生成一个varying值的机制叫做插值(interpolation)。

下图是vs的输入输出图：

Vs可用来进行传统的基于顶点的操作，例如使用矩阵变换位置、进行光照计算产生一个per-vertex的颜色、生成或变换纹理坐标。然而，因为VS是一个程序，VS可以用来进行任意的自定义顶点变换。

一个简单的VS:

uniformmat4 u_mvpMatrix;

attributevec4 a_position;

attributevec4 a_color;

varyingvec4 v_color;

voidmain()

{

v_color= a_color;

gl_Position= u_mvpMatrix*a_position;

}

其中gl_Position是一个内置的varying,不用声明，vs必须向它写入。Main函数是shader唯一的入口点。

PrimitiveAssembly 图元装配阶段

vs之后的流水线阶段就是图元装配，所谓图元是指可以用OpenGLEs绘制命令绘制的基本几何体。图元由顶点组成，顶点有各种属性，如位置和颜色。vs使用这些属性进行计算。在图元集成阶段，经过shade的顶点被集成进一个个独立的几何图元中，例如三角形，线或点精灵。对于每个图元，必须对其进行viewfrustum裁剪。如果图元部分在viewfrustum中，会被clip，如果图元完全在viewfrustum外则被丢弃。clipping之后，顶点的位置被转换到屏幕坐标系。另外，背面剔除也会在这阶段进行。这之后，图元就准备被传送到下一个阶段-光栅化。

Rasterization光栅化阶段

光栅化将图元转化成二维片段(fragments)的集合，这些片段将被fragmentshader处理。Fragment表示了可以被绘制到屏幕上的像素。(注：图元的属性是之前VS输出的varying，在光栅化阶段，基于图元的varying值被插值计算为基于片段的varying值)

FragmentShader

Fs实现了一种作用于片段的通用可编程方法。FS对光栅化阶段产生的每个片段进行操作。

Fs的输入：

1）Varyingvariables ：Vs输出的varying经过光栅化插值后对每个片段产生的值。

2）Uniforms：FS使用的常量数据

3）Samplers：一种特殊类型的uniform，表示FS使用的纹理

4）Shaderprogram：FS程序，代码或可执行的，描述了对于片段的操作。

Fs可以丢弃片段或者为片段生成一个颜色，输出保存到gl_FragColor中。

光栅化阶段生成的color,depth,stencil和窗口坐标(Xw,Yw)将会成为流水线per-fragment操作阶段的输入（FS之后的阶段）。

一个简单的FS程序：

precisionmediump float;

varyingvec4 v_color; // input vertex color from vertex shader，VS必须写这个v_color

voidmain(void)

{

gl_FragColor= v_color; //gl_FragColor是唯一的输出

}

Per-FragmentOperations阶段

Fs之后就是逐片段操作阶段。光栅化产生的一个片段，具有窗口坐标(Xw,Yw)，只能修改framebuffer中位置在(Xw,Yw)的像素。

下图是Per-FragmentOperations阶段的操作过程：

其中PixelOwnershipTest是用来决定framebuffer中某个位置的像素是否属于OpenGLES的context，比如如果OpenGLES的显示窗口被其他窗口遮住了，则一些像素就通不过这个测试，也就不会被OpenGLES显示。（似乎程序不需要控制这个）

Scissortest：测试（Xw,Yw)的片段是否在scissor矩形内，如果不在，片段被丢弃。

Stenciland depth test：测试incomingfragment的stencil和depth值，决定片段是否被丢弃。

Blending：将新产生的片段的颜色和framebuffer中相应位置像素的颜色进行混合。

Dithering：抖动

在per-fragment阶段之后，(Xw,Yw)处的片段要么被拒绝要么会产生一个fragmentcolor,depth,stencil值写入到framebuffer的(Xw,Yw)位置。Fragmentcolor, depth, stencil值是否真的写入framebuffer还取决于相应的writemasks是否enable。

另外，OpenGLES2.0也提供了从framebuffer回读像素的接口，但只有colorbuffer可以回读，depth和stencil值是读不到的。

alphatest不再在pre-fragmentstage中支持，需要在fragmentshader中实现

logicOp被去掉了，因为很少使用。（alphatest和logicop在OpenGL2.0和OpenGLES1.x中是存在的）

ES2.0和ES1.1的兼容性

ES2.0不向后兼容ES1.1,2.0不支持1.1中的固定功能流水线。2.0用vertexshader代替了1.1中的固定功能顶点处理单元，即：顶点T&L，纹理坐标生成和变换，顶点颜色计算。fragmentshader代替了1.1的固定功能texturecombine单元，即为每个textureunit实现一个texturecombine stage。

（不同于OpenGL2.0,OpenGL2.0是完全向后兼容的，同时支持可编程流水线和固定流水线。）

EGL简介

OpenGLEs命令需要一个renderingcontext和一个drawingsurface。Renderingcontext存储OpenGLEs状态。Drawingsurface是图元绘制上去的surface，drawingsurface指定了渲染所需的buffer的类型，例如colorbuffer, depth buffer和stencilbuffer，以及每种buffer的位数。

OpenGLES API不提供如何创建renderingcontext并且attach到natviewindow system。EGL是一个在OpenGLEs和native windowsystem之间的接口。然而厂商在实现OpenGLEs时并不一定提供EGL，不同平台可能有各自的接口。

2 Shaders and Programs

-----------创建编译shader---------------------------

Gluintshader = glCreateShader(type);

glShaderSource(shader, 1,&shaderSrc, NULL);

glCompileShader(shader);

-----------program------------------------------------

创建:

Gluintprogram = glCreateProgram();

Attach:

glAttachShader(program,shader);

1)一个programobject必须且仅能attach一个vs和一个 fs

1. attach可以在任意时刻进行，哪怕shader没有compile，甚至没有source。

2. 可用glDetachShader从program上移除shader。

3. 如果一个shader已经被attach到一个programobject上，调用glDeleteShader不会立即删除这个shader，这个shader会被标记为待删除，一旦这个shader不再attach到任何programobject上，这个shader的内存将被释放。

Link:

当两个shader被attach到program上，并且shader已经成功compile，使用glLinkProgram连接program。

1)linker会检查，确保fs使用的所有varyingvariables会被vs写入，并且被声明成同样的类型

2)linker会检查，确保vs和fs中声明的uniforms具有匹配的类型

3)linker会确保最终的program适合实现的限制（即，attribute,uniform, varying的数量，使用的指令）

link阶段会产生最终的硬件指令（link是在GPU上进行的)

有些问题如纹理没有被绑定到samper，在Link时是不能查到的，可使用glValidateProgram(program);验证program是否可以在当前状态下执行。这个操作很慢，一般只在debug版本中使用。

使用：

glUseProgram(program);

-----------uniformsand attributes------------------------------------

uniform: 应用程序通过通过es2.0API传送给shader的只读变量;uniform在programobject中是共享的，即一个programobject只有一组uniforms。如果uniform同时在vs和fs中声明，必须具有相同的类型，并且在这两个shader中该uniform的值是一样的。在link时，linker会为program中的每个activeuniform分配一个uniformlocation。应用程序使用这个uniformlocation作为标识来载入uniform的值。(location需要手动查询得到)

所谓“active”的uniform是值在program中实际使用的uniform，如果仅仅是声明不算。

载入uniform值，首先使用

glGetActiveUniform(program,index, bufSize, &length, &size, &type, uniform_name);

获得uniform的名字，以及数据类型type,数组元素数size(如果不是数组size就是1）

然后使用

location= glGetUniformLocation(program, uniform_name);

获得uniform的location。这样就可以使用一系列的glUniform*函数载入uniform的值。

使用glUniform*的时候，不用programhandle作为参数，因为这是针对当前use的program的。但是一旦为一个program中的uniform设置了值后，这个值将会保存在这个program中。

Gettingand Setting Attributes:

@seeChapter6 “Vertex Attributes, Vertex Arrays and Buffer Objects”

3 OpenGL ES Shading language (GLESSL)

数据类型

float,int, bool

float,vec2, vec3, vec4

int,ivec2, ivec3, ivec4

bool,bvec2, bvec3, bvec4

mat2,mat3, mat4

变量声明

floatspecularAtten;

vec4vPosition;

mat4mViewProjection;

ivec2vOffset;

变量可以在声明时初始化也可以以后初始化。初始化通过使用构造器完成，构造器也被用作类型转换。

变量构造器

GLESSL的类型转换是很严格的，变量只能被赋值给相同类型的变量或者和相同类型的变量一起计算。为了进行类型转换，语言中有很多构造器。

FloatmyFloat = 1.0;

boolmyBool = true;

intmyInt = 0;

myFloat= float(myBool); //convert from bool-> float

myFloat= float(myInt);

myBool= bool(myInt);

向量的构造：

单标量参数-向量所有分量值设置为该标量

多标量或向量参数构造– 向量分量从左到右赋值，参数必须够用

vec4myVec4 = vec4(1.0); // myVec4={1.0,1.0,1.0,1.0}

vec3myVec3 = vec3(1.0, 0.0, 0.5);

vec3temp = vec3(myVec3);

vec2myVec2 = vec2(myVec3); //myVec2 = {myVec3.x, myVec3.y}

myVec4= vec4(myVec2, temp, 0.0); //myVec4={myVec2.x, myVec2.y, temp.x, 0.0}

矩阵的构造：

如果只提供一个标量参数，这个值被设置在矩阵对角线上，例如mat4(1.0)会构造一个4X4单位阵。

矩阵可用多个向量构造；可用多个标量构造；或者向量和标量混搭构造。

访问向量和矩阵的成员

向量可用点访问(”.”) 或数组下标访问。可以用{x,y,z,w},{r,g,b,a},{s,t,r,q}这几种分量名字，但不可混用。

向量可通过点访问重新排序，如：

vec3myVec3 = vec3(0.0, 1.0, 2.0);

vec3temp;

temp= myVec3.xyz; // temp = {0.0, 1.0, 2.0}

temp= myVec3.xxx; // temp = {0.0, 0.0, 0.0}

temp= myVec3.zyx; // temp = {2.0, 1.0, 0.0}

下标访问，从0开始，[0]=x,[1]=y,[2]=z；下标如果不是常量，gles2.0可能不支持。

矩阵被看出是由很多向量组成。例如mat3是由3个vec3组成。矩阵的列用数组下标选择。

然后每个列向量使用向量访问规则。例如：

mat4myMat4 = mat4(1.0); //单位阵

vec4col0 = myMat4[0];

floatm1_1 = myMat4[1][1];

floatm2_2 = myMat4[2].z;

常量

可定任意基本类型的常量。常量变量在shader中值不改变。常量必须在声明时初始化。

const float zero = 0.0;

constfloat pi = 3.14159;

constvec4 red = vec4(1.0, 0.0, 0.0, 1.0);

constmat4 identity = mat4(1.0);

结构体

structfogStruct

{

vec4color;

floatstart;

floatend;

}fogVar;

fogVar= fogStruct(vec4(0.0,1.0,0.0,0.0), 0.5, 2.0);

数组

floatfloatArrary[4];

vec4vecArray[2];

关于数组的重要事项：

1）很多OpenGLEs实现不允许使用无法在编译时确定值的变量去索引数组。

2）不能在创建时初始化数组-没有这样的语法。因此，数组不能是常量。数组元素需要逐个初始化。

操作符

操作必须使用于具有相同基本类型的变量之间

*, / , + , - (基本类型必须是float或者int，乘法可在floats,vectors,matrices之间组合)

++, --

=

+=,-=, *=, /=

==,!=, <, >, <=, >= （只能作用于标量，要比较向量使用内置函数）

&&

^^（逻辑异或）

||

函数

和c类似，最大的区别在于参数的传入方式。OpenGLES提供了特定的修饰符来定义参数是否可以被函数修改：

in (默认，如果不指定）passedby value，不会被函数修改

inout passed by reference, 如果被修改，函数返回后改变值。

out 变量的值不传入函数，函数返回时变量修改。

例子：

vec4myFunc(inout float myFloat, out vec4 myVec4, mat4 myMat4);

例子，计算diffuse光照的函数：

vec4diffuse(vec3 normal, vec3 light, vec4 baseColor)

{

returnbaseColor * dot(normal, light);

}

另外，函数不可以递归，因为一些实现会以inline的方式实现函数调用。

内置函数

使用例子，计算高光：

floatnDotL = dot(normal, light);

floatrDotV = dot(viewDir, (2.0*normal)*nDotL - light);

floatspecular = specularColor * pow(rDotV, specularPower);

控制流

和c类似，但有很多限制。

1）判断表达式必须是bool类型（bool变量或者比较表达式），因为glessl不支持隐式转换。

2）使用循环有各种限制，归结为：OpenGLES必须在编译时知道迭代数。

必须只有一个循环迭代变量，并且只能使用简单的表达式增加或减少（i++,i--,i+=constant,i-=constant)；

循环的结束条件判断必须是循环索引和一个常量表达式之间的比较；

不能在循环中改变迭代变量的值；

基本上，gles2不需要实现真正支持loop,它这样限制loop是为了让编译器可以将loop展开。

Uniforms

uniform变量保存应用程序通过OpenGLES2.0API传给shader的只读值。uniform可以保存shader使用的各种数据，如变换矩阵，光的参数或者颜色。基本上，shader需要使用的任意参数如果对于所有的顶点和片段都是常量（但在编译时不知道）应该传入给uniform。

Uniform变量在全局范围内定义：

uniformmat4 viewProjMatrix;

uniformmat4 viewMatrix;

uniformvec3 lightPosition;

uniform存储于硬件上的“constantstore”, 可使用的数量有限制。OpenGLES2.0至少支持128个vertexuniform vectors和16个fragmentuniform vectors。

Attributes

只在vs中使用，用于指定per-vertex的输入。通常保存位置，法线，纹理坐标，颜色等数据。

attributevec4 a_position;

attributevec4 a_texCoord0;

attribute数量的限制：至少是8。

Varyings

vs的输出，fs的输入（在光栅化时进行了图元内线性插值）。在vs,fs中的声明必须一致。

varyingvec2 texCoord;

varyingvec4 color;

varying在硬件上就是interpolator(插值器)，数量至少为8.

Preprocessorand Directives 预处理器和指令

宏定义和测试指令：

#define

#undef

#if

#ifdef

#ifndef

#else

#elif

#endif

宏不能用参数定义；#if,#else,#elif可以使用defined测试某个宏是否定义。

预定义的宏：

__LINE__

__FILE__ //ES2.0中总是0

__VERSION__//OpenGL ES Sl的版本（e.g,100)

GL_ES //1

#error指令会在编译shader时引发一个编译错误并将message写入infolog。

#pragma指定用于编译器实现相关的指令。

#version指令用于表示glesslshader语言的版本，必须写在最上面，目前版本是#version 100

#extension用于厂商对语言的扩展。

Uniformand Varying Packing

存储布局为4Xn网格，packing自动进行。

PrecisionQualifiers

用于指定任意基于float或者int类型的变量。

highpvec4 position;

varyinglowp vec4 color;

mediumpfloat specularExp;

如果变量没有指定精度，则使用默认精度。默认精度在shader代码头部指定：

precisionhighp float; //用于所有基于浮点数值的变量

precisionmediump int; //用于所有基于整型值的变量

在vertexshader中，如果没有指定默认精度，则int和float的默认精度都是highp。对于fragmentshader，float类型的默认精度没有默认值，必须显示的声明。并且在fs中，不一定支持highp,可查询得知是否支持（GL_FRAGMENT_PRECISION_HIGH定义，或者查询OES_fragment_precision_high扩展）。

#ifdefGL_FRAGMENT_PRECISION_HIGH

precisionhighp float;

#else

precisionmediump float;

#endif

Invariance

invariant关键字可以作用于vs输出的任意varying变量上。

shader在编译时，编译器可能进行优化，导致指令被重排。这意味着两个shader间相同的计算，不一定产生精确相等的结果。这对于multipass渲染来说是个问题，一个物体被渲染多次，如果计算出来的位置有差别，就会有瑕疵。比如产生z-fighting。

使用invariant可以在写shader时指定如果使用了相同的计算，输出的结果必须精确一致。

invariant关键字可以使用在varying声明上或者已经声明的varying上。

invariantgl_Position; //内置的已经声明的varying,使用invariant

invariantvarying texCoord; //声明时使用invariant

可以使用#pragma指令器然所有的变量invariant:

#pragmaSTDGL invariant(all)

注意，为了实现invariant,编译器限制了优化，所有仅当需要时才使用invariant。

4 Vertex Attributes, Vertex Arrays, VBO

什么是attributes？

如何指定attributes数据和他们支持的数据类型？

如何将attribute的索引和vertexshader中相应的顶点attribute名字绑定？

什么是attributes？

顶点数据或称为顶点属性，是给每个顶点指定的数据，可以每个顶点逐一指定也可所有顶点使用一个常量值。

在opengles 1.1中，顶点属性有预定义的名字，例如position,normal,color,texturecoordinates。因为固定流水线只需要这些顶点属性，所以预定义这些属性是合理的。在可编程流水线中，开发者需要在vertexshader中使用他们自己的顶点属性名字，因此对于gles2.0，用户自定义顶点属性名是必须的，既然如此，预定义名字也就不需要了。

如何指定顶点属性数据？

逐个顶点指定属性数据使用vertexarray；图元的所有顶点使用相同数据则使用常量值。

查询支持的最大顶点属性数，用glGetIntegerv(GL_MAX_VERTEX_ATTRIBS,&maxVertexAttribs);

这个值至少为8。

图元中所有顶点如果使用相同属性值就只用常量顶点属性

常量顶点属性只能使用GLfloat，通过glVertexAttrib1/2/3/4f[v]指定。例如：

void glVertexAttrib3f(GLuint index, GLfloat x, GLfloat y, GLfloat z);

这个函数将(x,y,z,1.0)设定到索引为index的顶点属性上。

顶点数组

vertex arrays为每个顶点指定属性数据，他们是存储在应用程序地址空间的buffer(即client space)。

vertex array提供了一种高效而灵活的方式来指定顶点属性数据。要指定vertex array，需要使用

glVertexAttribPointer函数:

void glVertexAttribPointer(GLuint index, GLint size, GLenum type, GLboolean normalized, GLsizei stride, const void *ptr);

index: 指定通用顶点属性的索引，取值为0到支持的最大顶点属性数-1

size: 顶点数组中，index所引用的顶点属性的组件数。有效值为1-4

type: 数据格式。有效值为：GL_BYTE, GL_UNSIGNED_BYTE, GL_SHORT, GL_UNSIGNED_SHORT, GL_FLOAT, GL_FIXED, GL_HALF_FLOAT_OES

normalized: 用于指出是否非浮点数据格式在被转换为浮点数时是否需要归一化。

stride: size参数所指定的顶点属性组件们是为逐顶点顺序存储在顶点数组中的。stride指出了顶点i和顶点i+1数据之间的差值。如果stride是0，所有顶点的属性数据是序列存储的。如果stride>0，stride作为一个pitch值来获取下一个顶点的数据。

顶点数组存储方式：

1）array of structures: 所有顶点属性存储在同一个单一的buffer中

2）structure of arrays: 每种顶点属性存储在一个独立的buffer中

在vertex shader中定义attribute:

attribute vec4 a_position;

attribute vec2 a_texcoord;

attribute vec3 a_normal;

attribute修饰符只能出现在vertex shader中，在fragment shader中会导致编译错误；attribute只能是float, vec2, vec3, vec4, mat2, mat3, mat4类型的。attribute变量不能是数组或者结构。

ES2.0实现支持GL_MAX_VERTEX_ATTRIBS个vec4类型的vertex attributes。float, vec2, vec3被计算做一个vec4。mat2,mat3,mat4分别计算为2,3,4个vec4。不像uniform和varying变量可以被自动pack，attribute不会被pack。

attribute变量在shader中是只读的。

在vs中定义的attribute如果没有使用是不会被认为激活的，也不会计算为使用的容量。

如果attribute的总量超过了GL_MAX_VERTEX_ATTRIBS，vertex shader会link失败。

一旦program成功被link，我们可以查出这个program的vs使用的active的vertex attribute数量：

glGetProgramiv(program, GL_ACTIVE_ATTRIBUTES, &numActiveAttribs);