utf-8编码算法

unicode字符集是我们世界上最完善最全面的字符集，几乎包含了世界上所有的字符。其实可以这么理解，unicode字符集是一张巨大的表格，把世界上各种语言的字符和标点符号都编排到里面，然后按照一定的顺序给每个字符排号（很遗憾的是对于中文来说，这个顺序不是按照汉语拼音的顺序）。有了这张巨大的表格，世界上大部分字符就都有一个unicode内码（整数）来对应。计算机就通过记录字符的unicode码来表示这个字符，然后交给操作系统，操作系统通过unicode码到字符字体点阵的映射把这个内码转换成字体点阵显示到我们的屏幕上。

utf8是我们常用的编码方式，在web开发中使用utf8编码能完全解决字符集问题。其实utf8是unicode字符集的一种物理实现，它描述了如何高效的存储unicode的内码（就是上面说的字符在字符集的顺序码），RFC2044文档(http: //www.ietf.org/rfc/rfc2044.txt?number=2044)描述了如何从一个内码转换成utf8格式的算法。英文不好没关系，看这个转换表就会马上明白了：

UCS-4 range (hex.) UTF-8 octet sequence (binary)
0000 0000-0000 007F 0xxxxxxx
0000 0080-0000 07FF 110xxxxx 10xxxxxx
0000 0800-0000 FFFF 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-001F FFFF 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
0020 0000-03FF FFFF 111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
0400 0000-7FFF FFFF 1111110x 10xxxxxx ... 10xxxxxx

上面的表格左边是16进制表示的unicode内码，最后一行的16进制数“7FFF FFFF”是utf8所能表示的内码的最大值，换成10进制是这样的一个数：2147483647（够大吧:)）[对不起，此文最初这儿写错了，已改正]。上面表格中右边一列就是utf8的二进制格式,转换规则可谓一目了然。我直接给出算法吧(js代码)：


function toUtf8(code)
{
var iByte=0;
var i=0;
result="";
while(code>0x7f)
{
iByte=code%0x40;
code=(code-iByte)/0x40;
result="%"+(iByte|0x80).toString(16).toUpperCase()+result;
i++;
}
prefix=[0x0,0xc0,0xe0,0xf0,0xf8,0xfc];
if(i>prefix.length)
{
i=5;
}
result=""+(code|prefix[i]).toString(16).toUpperCase()+result;
return result;
}



例如字符"汉"的unicode是6C49，把这个unicode字符表示为一个大整数，然后转变成多字节编码110110001001001：
观察这个整数的二进制码序列（110，110001，001001）
从后往前取
如果这个二进制序列只有后7位（小于128,也就是ascii字符）则直接取后7位二进制数形成一个utf8字符。
上面的字符“汉”二进制序列大于7位，所以取后6位(1001001)，加10形成一个utf8字节（10 001001 ,16进制89）。
剩下的二进制序列（110，110001）从后向前取6位，加10形成一个utf8字节（10 110001，16进制B1）。
剩下的二进制序列（110）从后向前取6位，由于不足6位，将这个数和1110000相或，得到字符11100110，16进制E6
最后，就得到了utf8编码，16进制表示为E6B189

【应用领域】
虽然这种标准算法大部分已经由开发工具提供商或者库实现，但是我们依然会在某些时候需要自己实现这种算法：
某些浏览器(ie5)不支持encodeURI函数，那么使用ajax提交汉字有两种方案：
汉字字符经escape转变成形如"%uXXXX"的字符，服务端使用上述算法将u后面的unicode序号转变成utf8字符
使用上面的算法结合escape直接在客户端实现encodeURI功能（推荐使用这种方案）

实现json-rpc服务
json是javascript的对象直接量形式，其中字符串必须是unicode字符，汉字需要转换成"\uXXXX"的形式。所以我们需要把服务端字符进行json转变。对于php来说，现在有两个开源项目JSON-PHP 和 PHP-JSON。
json-rpc是一种以json为数据格式的rpc协议，可以方便应用与ajax项目中，json-rpc.org是一个开源的实现。

参考2:

5 Unicode编码
5.1 用途

用来对所有字符进行编码的标准。
5.2 概述

将世界上所有的语言进行编码的工业标准，大约可以表示100万不同的符号。

最新的标准是Unicode5.0
5.3 基本原理

映射方式是如何表示Unicode的方法。Unicode有两种映射方式：UTF（Unicode Transformation Format ）编码和UCS（Universal Character Set）编码，UTF-8和UTF-16是使用最多的两种编码。

UTF-8是ASCII的超集，不同的，也UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度。

UTF-8的编码规则很简单，只有二条：

1）对于单字节的符号，字节的第一位设为0，后面7位为这个符号的unicode码。因此对于英语字母，UTF-8编码和ASCII码是相同的。

2）对于n字节的符号（n>1），第一个字节的前n位都设为1，第n+1位设为0，后面字节的前两位一律设为10。剩下的没有提及的二进制位，全部为这个符号的unicode码。

下表总结了编码规则，字母x表示可用编码的位。

Unicode符号范围 | UTF-8编码方式

(十六进制) | （二进制）

--------------------+---------------------------------------------

0000 0000-0000 007F | 0xxxxxxx

0000 0080-0000 07FF | 110xxxxx 10xxxxxx

0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx

0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

下面以汉字“严”为例，演示如何实现UTF-8编码。

已知“严”的unicode是4E25（100111000100101），根据上表，可以发现4E25处在第三行的范围内（0000 0800-0000 FFFF），因此“严”的UTF-8编码需要三个字节，即格式是“1110xxxx 10xxxxxx 10xxxxxx”。然后，从“严”的最后一个二进制位开始，依次从后向前填入格式中的x，多出的位补0。这样就得到了，“严”的UTF-8编码是 “11100100 10111000 10100101”，转换成十六进制就是E4B8A5。



第一个字节在前，就是”大头方式“（Big endian），第二个字节在前就是”小头方式“（Little endian）。

那么很自然的，就会出现一个问题：计算机怎么知道某一个文件到底采用哪一种方式编码？

Unicode规范中定义，每一个文件的最前面分别加入一个表示编码顺序的字符，这个字符的名字叫做”零宽度非换行空格“（ZERO WIDTH NO-BREAK SPACE），用FEFF表示。这正好是两个字节，而且FF比FE大1。

如果一个文本文件的头两个字节是FE FF，就表示该文件采用大头方式；如果头两个字节是FF FE，就表示该文件采用小头方式。

Unicode与UTF-8之间的转换

通过例子，可以看到“严”的Unicode码是4E25，UTF-8编码是E4B8A5，两者是不一样的。它们之间的转换可以通过程序实现。

在Windows平台下，有一个最简单的转化方法，就是使用内置的记事本小程序Notepad.exe。打开文件后，点击“文件”菜单中的“另存为”命令，会跳出一个对话框，在最底部有一个“编码”的下拉条。

bg2007102801.jpg

里面有四个选项：ANSI，Unicode，Unicode big endian 和 UTF-8。

1）ANSI是默认的编码方式。对于英文文件是ASCII编码，对于简体中文文件是GB2312编码（只针对Windows简体中文版，如果是繁体中文版会采用Big5码）。

2）Unicode编码指的是UCS-2编码方式，即直接用两个字节存入字符的Unicode码。这个选项用的little endian格式。

3）Unicode big endian编码与上一个选项相对应。我在下一节会解释little endian和big endian的涵义。

4）UTF-8编码，也就是上一节谈到的编码方法。

选择完”编码方式“后，点击”保存“按钮，文件的编码方式就立刻转换好了。



打开”记事本“程序Notepad.exe，新建一个文本文件，内容就是一个”严“字，依次采用ANSI，Unicode，Unicode big endian 和 UTF-8编码方式保存。

然后，用文本编辑软件UltraEdit中的”十六进制功能“，观察该文件的内部编码方式。

1）ANSI：文件的编码就是两个字节“D1 CF”，这正是“严”的GB2312编码，这也暗示GB2312是采用大头方式存储的。

2）Unicode：编码是四个字节“FF FE 25 4E”，其中“FF FE”表明是小头方式存储，真正的编码是4E25。

3）Unicode big endian：编码是四个字节“FE FF 4E 25”，其中“FE FF”表明是大头方式存储。

4）UTF-8：编码是六个字节“EF BB BF E4 B8 A5”，前三个字节“EF BB BF”表示这是UTF-8编码，后三个“E4B8A5”就是“严”的具体编码，它的存储顺序与编码顺序是一致的。
5.4 编码解码代码


5.5 参考材料

[1] The Absolute Minimum Every Software Developer Absolutely, Positively Must Know About Unicode and Character Sets (No Excuses!). http://www.joelonsoftware.com/articles/Unicode.html

[2] 字符编码笔记：ASCII，Unicode和UTF-8. http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

[3] UTF-8, a transformation format of ISO 10646. http://www.ietf.org/rfc/rfc3629.txt

[4] Unifier, an excellent tool to convert a batch of plain text or html files in various characters set encoding to Unicode or UTF-8 encoding. http://www.programurl.com/unifier.htm

参考3:
字符集代码范围:
var _Charset = {
'cjk': [ 'u4e00', 'u9fa5' ], // 汉字 [一-龥]
'num': [ 'u0030', 'u0039' ], // 数字 [0-9]
'lal': [ 'u0061', 'u007a' ], // 小写字母 [a-z]
'ual': [ 'u0041', 'u005a' ], // 大写字母 [A-Z]
'asc': [ 'u0020', 'u007e' ] // ASCII 可视字符
};