ASCII,Unicode和UTF-8
基础概念
- 1字节=8位
- 基础的进制转换
ASCII
计算机最初是美国发明的,他们使用8个二进制(1字节)位来代表字母数字和一些符号,而这些二进制就叫ASCII码.8位最大能有256中表示,每一种状态对应一个符号.因为初期没有那么多符号需要表示,所以一共规定了128个字符编码,共计占七位.而第一位固定为0.例如大写字母A为65(二进制01000001)
非ASCII码
英语使用128个符号可以表示所有的内容,但是对于其他语言128远远不够,即使使用8位(256)也同样不够.像中文,日语等等很多语言都不能表示完全,所以就产生了其他编码.例如常见的GB2312,GBK(在GB2312上扩充的)等使用多个字节表示符号.
Unicode
不同的编码方式导致同一个编码对应的字符不同,这就是网页或者邮件等乱码的主要原因.Unicode从名字可以知道,它其实就是统一编码的意思.对于同一个字符,有一个独一无二的码,它包括了100多万个字符的编码.这么做的好处是包括的字符多,坏处就是所占的空间大小大.1000000转成二进制00001111 01000010 01000000可以看出需要3个字节才能标识.如果使用这种方式保存字符,那存储起来会特别耗费空间.
UTF_8
上面说过Unicode编码的方式可以解决乱码,但是特别耗费空间.有没有一种编码既能表示很多字符,又不是那么占用空间呢?UTF-8便是其中一种.
UTF-8的最大特点就是使用1~4个字节来表示字符,根据不同字符的变化来改变长度.但是它是如何实现的呢?
- 对于Unicode值单字节能表示的字符,即只用1个字节就能表示的字符,第1位为0,后七位为这个字符的Unicode码.对于英语而言,其ASCII码和UTF-8编码一致.这就是为什么英文字符为啥有的时候不会乱码而中文字符就会乱码的原因.
- 对于Unicode值需要
n个字节来表示的字符而言,第一个字节(第一个8位)的前n位都设为1,第n+1位设为0,后面字节的前两位一律设为10.剩下的没有提及的二进制位,全部为这个符号的Unicode码.
注意:UTF-8是Unicode编码的实现方式之一,其中还有UTF-16等等.
| Unicode码范围 | UTF-8编码方式 |
|---|---|
| 0000 0000-0000 007F | 0xxxxxxx |
| 0000 0080-0000 07FF | 110xxxxx 10xxxxxx |
| 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx |
| 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx |
表格中的x就是Unicode填充位置.需要知道该字符占用几个字节,看他前面有几个1即可知道.
例如:中字,它的Unicode码值为4E2D.该码值可以通过Unicode码值表找到.将十六进制值转化成二进制为:01001110 00101101.根据上面的规则4E2D位于第三行.最后如下图所示:
中字utf-8编码.png
