Python编码

2017-06-26  本文已影响14人  Captain_tu
  1. 关于字符编码
* Python 2.x默认用ascii编码, Python 3.x默认用utf-8编码
* 1Byte = 8bit,也就是8位,所以1字节最大可以表示的数就是 0b11111111 = 0xff = 255
* 刚开始,ascii用1Byte的七位表示,最多可以表示2**7 = 128个字符,其中0-31及127为通信专用字符,其他为可显示字符。这些包括了英语使用的全部字符。后来其他文字,使用了后边的128个字符,称为扩展字符(扩展ascii码)。
* 但是中文等其他的这么多不够用啊,于是尝试用2Byte2表示一个字符,叫做DBCS(双字节编码方案)
* 最终,美国人提出一种标准,用来展示所有国家的字符,就是***unicode***
* unicode就像是一个电话本,标记着字符和数字之间的映射,例如用Python的函数ord("中")显示出其对应的数字是 20013,使用chr()可以显示出某个数字对应的字符
* Unicode并不涉及字符是怎么在字节中表示的,它仅仅指定了字符对应的数字,仅此而已。

他对支持字符的数量没有限制,也不要求字符必须占两个或者三个或者其他任意字节。
* utf-8和utf-16是两个最流行的unicode编码
* utf-8中,0-127使用1个字节,127以上使用2个,3个或者4个字节表示,能兼容us-ascii
* ###utf-8的原理
1. 单字节的字符,第一位设为0, 对于英文文本,utf-8只占一个字节,和ascii完全相同
2. n个字节的字符(n大于0), 第一个字节的前n为设为1,第n+1位设为0,后边字节的前两位都设为10,这n个字节的其他位填充为该字符的Unicode码,高位0补足
参考 知乎学点编码知识又不会死
* python3 用bytes("中文", encoding="utf-8")可以获取到对应的编码

  1. Python关于字符编码的函数
1. ord(char)
    获取char对应的unicode映射值
2. chr(pos)
    获取pos对应的unicode字符
3. bytes(string, encoding="encode")
    用encoding解码string
4. bin(num)
    获取num对应的二进制
5. hex(num)
    获取num对应的十六进制
6. int(num, base=16)
    获取num对应的10进制,base为其原来的进制
7. oct(num)
    获取num对应的八进制
  1. 自定义函数
    a = byte("中文", encoding="utf-8") # b'\xe4\xb8\xad\xe6\x96\x87'
    # 可以看出utf-8中,一个汉字占3个字节
    print(a[0]) # 228 即 int(0xe4)
    # \xae是utf-8编码的形式,\x后跟两位的16进制代表一个字节

     #中文转二进制
上一篇下一篇

猜你喜欢

热点阅读