浅谈Java的编码问题

前言

因为最近在做安全的问题 各种加密算法最后得出来的都是byte[ ],存储在本地则是char。因为之前不是很熟悉编码格式 在Base64 UTF-8等等编码格式之间搞得昏头转向，所以花点时间巩固下编码基础，阅读本文需要懂点基本的计算机知识,如果对 二进制 十进制 十六进制，字符 字节 bit byte char 等等不是很熟悉，可以先搜下相关的知识。

为什么要编码

作为计算机的基本的存储单元—byte，人类使用的是文字语言，文字转化为计算机存储一定要经过一定的编码，计算机才识别并存储。然而人类的语言种类有很多，所以有产生了很多的编码格式

编码的原因总结如下：

1. 计算机的最小存储单位为一个字节 即8bit， 能表示的字符范围是0-255
2. 人类要表示的字符太多，无法用一个字节表示
3. 我们需要一个新的数据结构char ，从char到byte 必须编码

如何翻译

计算机提供了一些常见的编码格式， ASCII ISO-8859-1 GB2312 GBK UTF-8 UTF-16等。。。 他们都可以看做字典，规定了转化的规则。

• ASCII 一共有128个，用一个字节的低7为表示，0-31是控制字符如 转行 回车 删除等等，32-126是打印字符，是可以通过键盘输入并显示出来的。

• ISO-8859-1 覆盖了大多数西欧语言的字符，是所有应用的最广泛 早起volley中的中文编码问题就是因为默认的编码格式为iso-8859-1， 仍为单字节编码，它总共能表示256个字符。

• GB2312 是双字节编码，总的编码范围是A1-F7 A1-A9是符号区 总共包括682个符号，B0 - F7是汉字区，包含6763个汉字

• UTF-16 UTF必须提高Unicode(Universal Code 统一码) ISO 试图通过创建一个全新的超语言字典，Unicode是java和XML的基础， UTF-16定义了Unicode在计算机种存取方法， 使用两个字节来表示Unicode转化格式，在字符串操作时非常简化，JAVA以UTF-16作为内存的字符存储格式。

• UTF-8 UTF-16采用定长的两个字节表示一个字符，虽然在表示中非常的方便 但是在存储空间中因为很大一部分字符用一个字节就可以表示 但是现在需要用两个字节，这样会增大网络传输的流量，UTF-8采用变长技术

  UTF-8 编码规则：

  1. 如果一个字节 最高位为0，则表示这是一个ASCII（00-7F）字符。
  2. 如果一个字姐，以11开头，连续的1的个数暗示这个字符的字节数，例如110xxxxxx代表它是双字节UTF-8的首字节
  3. 如果一个字节，以10开始，表示它不是首字节，需要向前查找才能找到当前字符的首字节。

Java中需要编码的场景

一般涉及编码的地方都需要字符到字节 或者字节到字符的转换中，需要这种场景通常为IO的时候，这个IO包括磁盘IO和网络IO。

Reader类是Java的IO读取字符的父类， InputStream类是读字节的父类，InputStreamReader则是关联字节到字符的桥梁，负责IO过程处理字节到字符的转换，具体字节到字符的解码实现是由StreamDecoder来实现， StreamDecoder解码必须由用户指定Charset编码格式，如果没有指定则默认使用本地环境的默认字符集。

写的情况也是类似，字符的父类是Writer，字节的父类是OutputStream，通过OutPutStreamWriter转化字符到字节。

内存中的操作编码

最常用的应该就是在内存中进行字符到字节的数据类型的转换，Java 中用 String 表示字符串，所以 String 类就提供转换到字节的方法，也支持将字节转换为字符串的构造函数

String s = "这是一段中文";
byte[] b = s.getBytes("UTF-8");
String n = new String(b, "UTF-8");

编码格式的比较

GB2312 与 GBK 编码规则类似，但是 GBK 范围更大，它能处理所有汉字字符，所以 GB2312 与 GBK 比较应该选择 GBK。UTF-16 与 UTF-8 都是处理 Unicode 编码，它们的编码规则不太相同，相对来说 UTF-16 编码效率最高，字符到字节相互转换更简单，进行字符串操作也更好。它适合在本地磁盘和内存之间使用，可以进行字符和字节之间快速切换，如 Java 的内存编码就是采用 UTF-16 编码。但是它不适合在网络之间传输，因为网络传输容易损坏字节流，一旦字节流损坏将很难恢复，想比较而言UTF-8 更适合网络传输，对 ASCII 字符采用单字节存储，另外单个字符损坏也不会影响后面其它字符，在编码效率上介于 GBK 和 UTF-16 之间，所以 UTF-8 在编码效率上和编码安全性上做了平衡，是理想的中文编码方式。