Unicode与编码方式

Unicode可以表示世界上的每一个字符，每一个字符都有相应并且唯一的二进制编码。Unicode是一种字符集，让几乎所有语言中的每个字符都和一个唯一数字对应起来。

https://unicode-table.com/cn/4F60/

Unicode 是为了解决传统的字符编码方案的局限而产生的，它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。也就是说世界上的任意一个字符，无论何种语言，都能在Unicode字符集中找到其对应的二进制编码。

Unicode的表现方式是U+XXXXXX，X代表一位十六进制数，可以有4-6位，不足 4 位前补 0 补足 4 位，超过则按是几位就是几位。

字符A的ASCII码是65，将65转换成16进制就是41（16×4+（16^0)×1 = 65）,按照规则前面补0，那么字符A的Unicode表示就是U+0041，依次类推B的Unicode表示就是U+0042...等等，汉字"爱"的字符表示是“U+7231”

常见的编码方式有 UTF-8 , UTF-16 , GB2312 , GBK，它们都只是一种编码方式，每种编码有自己的规则。

UTF-8是一种非常通用的可变长字符编码方式，范围由1-4个字节不等。

UTF-16通常由2字节或者4字节表示一个字符，U+000~U+FFFF的范围内用2个字节表示。
U+10000~U+10FFFF的范围内用4个字节表示。

GB2312，每个汉字及符号以两个字节来表示，兼容ASCII码，GB 2312标准共收录6763个汉字，其中一级汉字3755个，二级汉字3008个；同时，GB 2312也收录了许多其他语音的文字及符号。它所收录的汉字已经覆盖中国大陆99.75%的使用频率，对于人名、古汉语等方面出现的罕用字，GB 2312不能处理，这导致了后来GBK及GB 18030汉字字符集的出现。

GBK 向下与 GB 2312 编码兼容，向上支持 ISO 10646.1国际标准，是前者向后者过渡过程中的一个承上启下的产物。GBK编码，是在GB2312-80标准基础上的内码扩展规范，使用了双字节编码方案，其编码范围从8140至FEFE（剔除xx7F），共23940个码位，共收录了21003个汉字，完全兼容GB2312-80标准

在JavaScript中，所有的string类型都是使用UTF-16编码的，形如 '\u00A9' 或者 '\uD87E\uDC04' ，详情参考MDN文档Lexical_grammar。

所以JS中，将字符转换成Unicode如下：

function encodeUnicode (str) {
    var result = ''
    for (let i = 0; i < str.length; i++) {
        var char = str.charAt(i)
        var res = [];
        console.log('char', char)
        // for循环一次是因为一个字符在JS中的length不一定为1
        for (var j = 0; j < char.length; j++) {
            // 前面加'00' 是因为一些字符转化为十六进制只有两位，所以要在前面补上'00'，比如说‘a’这个字符
            // 'a'.charCodeAt(0).toString(16) 就是 '61'
            res[j] = ("00" + char.charCodeAt(j).toString(16)).slice(-4);
        }
        var unicodeOfChar = "\\u" + res.join("\\u");
        result += unicodeOfChar
    }
    return result
}
function decodeUnicode (unicodeStr) {
    if (!unicodeStr) {
        return;
    }
    // 控制循环跃迁
    var len = 1;
    var result = '';
    // 注意，这里循环变量的变化是i=i+len 了
    for (var i = 0; i < unicodeStr.length; i = i + len) {
        len = 1;
        var temp = unicodeStr.charAt(i);
        if (temp == '\\') {
            // 找到形如 \u 的字符序列
            if (unicodeStr.charAt(i + 1) == 'u') {
                // 提取从i+2开始(包括)的 四个字符
                var unicodeUnitOfChar = unicodeStr.substr((i + 2), 4);
                // 以16进制为基数解析unicode字符串，得到一个10进制的数字
                result += String.fromCharCode(parseInt(unicodeUnitOfChar, 16).toString(10));
                // 提取这个unicode经过了5个字符， 去掉这5次循环
                len = 6;
            }
            else {
                result += temp;
            }
        }
        else {
            result += temp;
        }
    }
    return result;
}

var unicode = encodeUnicode('你好a')
var str = decodeUnicode(unicode)
console.log('str', str)
console.log('unicode', unicode)
encodeUnicode('我')
// "\u6211"
encodeUnicode('a')
// "\u0061"

用通信理论的思路可以理解为:
unicode是信源编码，对字符集数字化。
utf-8是信道编码，为更好的存储和传输。

一个很简单的例子：
一个用GBK编码的文件，我如果以UTF-8来解码的话，打开就会是一片乱码。
再比如：

// 代表该网页用utf-8的方式解码来显示 
<meta charset='utf-8'> 

当然mata也可能会失效，如图

截图02.png
html meta失效的情况

参考
Unicode中UTF-8与UTF-16编码详解
UTF-8与Unicode的区别
GB2312编码表
gb2312中的英文字母占几个字节？
漫画：什么是字符集和编码？ASCII、UTF-8、UTF-16、UTF-32 又是什么？
解决GB2312、GBK、UTF-8转换问题
Unicode和UTF编码转换