文本编码是对世界上文字符号的计算机表示

文本的编码方式有很多，参见我另一篇编码简介，文本编码众多，国内用的最多的也就是GB2312或GBK、UTF8(网页居多)、Unicode等。

常用文件编码

目前，大多程序采用Unicode版本，以后也会更为普及，对于本地文件中，大多为ANSI编码的文件，Windows新建个文本，记事本输入几个英文和汉字，保存。这就是默认ANSI编码的。只不过在不同地区和版本的操作系统中，所采用的扩展编码方式不同。关于有些软件，sublime text3，无bom UTF8推崇狂，ANSI的文件，打开中文必定乱码一会，然后会推荐你用utf8(100%)，就是无bom，为什么会这样？，因为ANSI和UFT8无bom的文件头没有标志。不能一定判断。

在多数西方国家，不用想，就是默认的ANSI编码，在简体中文Windows操作系统中，ANSI 编码代表 GBK 编码；在繁体中文Windows操作系统中，ANSI编码代表Big5；在日文Windows操作系统中，ANSI 编码代表 Shift_JIS 编码。

当你的程序读取读取这些文本，并保持在char 数组里，并没有什么不妥，需要得到wchar宽字节的，常用的MultiByteToWideChar转换即可。
但是还有许多非ANSI的文件，比如网页保持的文件，Java的源码文件等等。有utf8和Unicode的编码，如果你还直接读取文本，肯定会出现中文乱码（utf8）或者只能读到一个英文字符(Unicode)等。

这些编码文件的特征

怎么去读，先了解这些文件的存储特征，才能按格式读取和转换。

ANSI的特征

ANSI不用多说，ASCII在内的1字节字符128个，即char型的正数，汉字2字节，第一个字节是0X80以上，即char型负数第一字节，文件开头没有标志，直接是内容。直接读取，计算机会结合本地的编码（如GBK进行显示）。

Unicode特征

Unicode开始启用2个字节表示。衍生出USC-2LE 、USC-2BE、UTF8等等。

1、USC2-LE和USC-2BE

这个就是固定的2字节表示字符，包括英文字符也是2字节。开头有特征：
以0xFFEF（小端）和0xEFFF（大端）开头为标志。

2、UTF8

utf8是变长的编码，英文字符还有1字节，汉字和其他各国字符用2字节或者3字节。
UTF-8编码的分为带BOM和不带BOM的，BOM(Byte Order Mark)就是文件开头的标志了。
带BOM的UTF-8文件是：开头三字节，EE BB EF
不带BOM的UTF-8，开头为特征，直接是内容，造成和ANSI的一样。

读取各种编码文件并转化成whar型字符串

1. ANSI: 直接内容

• Unicode:2字节：FFEF(小端)、EFFF(大端)开头
• UTF-8(BOM) ：3字节：EE BB EF 开头
• UTF-8(100%): 直接内容

三种编码比较

我写了一个类来进行自动识别和转换，采用了C++11的新特性进行转换。扔掉MultiByteToWideChar吧，拥抱新变化。

//.h文件
#include <codecvt>
/*  解码不同编码的文本文件类*/
typedef enum tagTextCodeType
{
    TextUnkonw = -1,
    TextANSI = 0,
    TextUTF8,
    TextUNICODE,
    TextUNICODE_BIG
}TextCodeType;

class CDecodeTextFile
{
public:
    CDecodeTextFile();
    ~CDecodeTextFile();
//interface
    wstring DecodeFileToWstring(const wchar_t *filePath);
    string DecodeFileToString(const wchar_t *filePath);

private:
    TextCodeType GetFileEncodeType(const wchar_t *filePath);

    wstring ReadString(TextCodeType type);
    wstring ReadAnsiString();
    wstring ReadUtf8String();
    wstring ReadUnicodeString();
    wstring ReadUnicodeBigString();

private:
    FILE  *m_fp;
};

实现

//.cpp文件
CDecodeTextFile::CDecodeTextFile():
m_fp(NULL)
{

}

CDecodeTextFile::~CDecodeTextFile()
{
    if (m_fp)
        fclose(m_fp);
}


wstring CDecodeTextFile::DecodeFileToWstring(const wchar_t *filePath)
{
    TextCodeType type = GetFileEncodeType(filePath);
    return ReadString(type);
}

string CDecodeTextFile::DecodeFileToString(const wchar_t *filePath)
{
    string Dst = "";
    return Dst;
}

TextCodeType CDecodeTextFile::GetFileEncodeType(const wchar_t *filePath)
{
    unsigned char headBuf[3] = {0};
    TextCodeType type = TextUnkonw;
    
    m_fp = _wfopen(filePath, L"r");
    if (!m_fp) return type;

    fseek(m_fp, 0, SEEK_SET);
    fread(headBuf, 3, 1, m_fp);

    if (headBuf[0] == 0xEF && headBuf[1] == 0xBB && headBuf[2] == 0xBF)     //utf8-bom 文件开头：FF BB BF,不带bom稍后解决
        type = TextUTF8;
    else if (headBuf[0] == 0xFF && headBuf[1] == 0xFE)      //小端Unicode  文件开头：FF FE  intel x86架构自身是小端存储，可直接读取
        type = TextUNICODE;
        else if (headBuf[0] == 0xFE && headBuf[1] == 0xFF)  //大端Unicode  文件开头：FE FF
            type = TextUNICODE_BIG;
            else
                type = TextANSI;    //ansi或者unf8 无bom
    
    return type;
}


wstring CDecodeTextFile::ReadString(TextCodeType type)
{
    if (!m_fp) return NULL;
    switch (type)
    {
    case TextANSI:
        return ReadAnsiString();
        break;
    case TextUTF8:      //无bom 
        return ReadUtf8String();
        break;
    case TextUNICODE:
        return ReadUnicodeString();
        break;
    case TextUNICODE_BIG:
        return ReadUnicodeBigString();
        break;
    }


    return NULL;
}

wstring CDecodeTextFile::ReadAnsiString()
{
    const char* GBK_LOCALE_NAME = ".936"; //GBK在windows下的locale name

    wstring_convert<codecvt_byname<wchar_t, char, mbstate_t>> Conver_GBK(new codecvt_byname<wchar_t, char, mbstate_t>(GBK_LOCALE_NAME));    //GBK - whar

    fseek(m_fp, 0, SEEK_END);
    int fileSize = ftell(m_fp);
    char *buf = new char[fileSize+1];
    memset(buf, 0, fileSize+1);

    fseek(m_fp, 0, SEEK_SET);
    fread(buf, sizeof(char), fileSize, m_fp);
    
    wstring wDst = Conver_GBK.from_bytes(buf);      //GBK转Unicode

    delete buf;
    return wDst;
}
wstring CDecodeTextFile::ReadUtf8String()
{
    std::wstring_convert<std::codecvt_utf8<wchar_t>> Conver_UTF8;   //utf8-wchar

    char  headBuf[3] = { 0 };

    fseek(m_fp, 0, SEEK_END);
    int fileSize = ftell(m_fp);

    fseek(m_fp, 0, SEEK_SET);
    fread(headBuf, sizeof(char), 3, m_fp);
    if (headBuf[0] == 0xEF && headBuf[1] == 0xBB && headBuf[2] == 0xBF)     //带 Bom
        fseek(m_fp, 3, SEEK_SET);
    else
        fseek(m_fp, 0, SEEK_SET);

    char *buf = new char[fileSize];
    memset(buf, 0, fileSize);

    fseek(m_fp, 0, SEEK_SET);
    fread(buf, sizeof(char), fileSize, m_fp);

    wstring wDst = Conver_UTF8.from_bytes(buf);     //GBK转Unicode

    delete buf;
    return wDst;

}
wstring CDecodeTextFile::ReadUnicodeString()
{
    fseek(m_fp, 0, SEEK_END);
    int fileSize = ftell(m_fp);

    wchar_t *buf = new wchar_t[fileSize / 2];
    memset((void *)buf, 0, fileSize);

    fseek(m_fp, 2, SEEK_SET);
    fread(buf, sizeof(char), fileSize, m_fp);

    wstring wDst = buf;

    delete buf;
    return wDst;
}
wstring CDecodeTextFile::ReadUnicodeBigString()
{
    wstring wDst= L"";
    return wDst;
}

主要介绍：C++11中，GBK-whar相互转换 和utf8-wchar的相互转换

std::wstring_convert<std::codecvt_utf8<wchar_t>> Conver_UTF8;    //utf8-wchar

//GBK在linux下的locale名可能是"zh_CN.GBK"
const char* GBK_LOCALE_NAME = ".936"; //GBK在windows下的locale name
wstring_convert<codecvt_byname<wchar_t, char, mbstate_t>> Conver_GBK(new codecvt_byname<wchar_t, char, mbstate_t>(GBK_LOCALE_NAME));    //GBK - whar

从源码可以看出，Unicode小端存储的直接读入转换即可，是因为IntelX86计算机本身也是小端存储，无障碍读取，大端由于存储正好相反，不能直接读取，稍后再完善。
还有怎么判断ANSI和无BOM的UTF8。需要根据内容来判断，稍后完善。