NLP自然语言处理-汉字拼音转换
NLP自然语言处理-汉字拼音转换
简介
特性
- https://github.com/mozillazg/python-pinyin#id1
- 根据词组智能匹配最正确的拼音。
- 支持多音字。
- 简单的繁体支持, 注音支持。
- 支持多种不同拼音/注音风格。
安装
$ pip install pypinyin
使用示例
Python 3(Python 2 下把 ‘中心’ 替换为 u’中心’ 即可):
>>> from pypinyin import pinyin, lazy_pinyin, Style
>>> pinyin('中心')
[['zhōng'], ['xīn']]
>>> pinyin('中心', heteronym=True) # 启用多音字模式
[['zhōng', 'zhòng'], ['xīn']]
>>> pinyin('中心', style=Style.FIRST_LETTER) # 设置拼音风格
[['z'], ['x']]
>>> pinyin('中心', style=Style.TONE2, heteronym=True)
[['zho1ng', 'zho4ng'], ['xi1n']]
>>> pinyin('中心', style=Style.TONE3, heteronym=True)
[['zhong1', 'zhong4'], ['xin1']]
>>> pinyin('中心', style=Style.BOPOMOFO) # 注音风格
[['ㄓㄨㄥ'], ['ㄒㄧㄣ']]
>>> lazy_pinyin('中心') # 不考虑多音字的情况
['zhong', 'xin']
>>> lazy_pinyin('战略', v_to_u=True) # 不使用 v 表示 ü
['zhan', 'lüe']
# 使用 5 标识轻声
>>> lazy_pinyin('衣裳', style=Style.TONE3, neutral_tone_with_five=True)
['yi1', 'shang5']
注意事项 ：
默认情况下拼音结果不会标明哪个韵母是轻声，轻声的韵母没有声调或数字标识（可以通过参数 neutral_tone_with_five=True 开启使用 5 标识轻声 ）。
默认情况下无声调相关拼音风格下的结果会使用 v 表示 ü （可以通过参数 v_to_u=True 开启使用 ü 代替 v ）。
默认情况下会原样输出没有拼音的字符（自定义处理没有拼音的字符的方法见 文档 ）。
命令行工具：
$ pypinyin 音乐
yīn yuè
$ pypinyin -h
文档
- 详细文档请访问：http://pypinyin.rtfd.io/ 。
- 项目代码开发方面的问题可以看看 开发文档 https://pypinyin.readthedocs.io/zh_CN/develop/develop.html 。
FAQ
词语中的多音字拼音有误？
目前是通过词组拼音库的方式来解决多音字问题的。如果出现拼音有误的情况， 可以自定义词组拼音来调整词语中的拼音：
>>> from pypinyin import Style, pinyin, load_phrases_dict
>>> pinyin('步履蹒跚')
[['bù'], ['lǚ'], ['mán'], ['shān']]
>>> load_phrases_dict({'步履蹒跚': [['bù'], ['lǚ'], ['pán'], ['shān']]})
>>> pinyin('步履蹒跚')
[['bù'], ['lǚ'], ['pán'], ['shān']]
为什么没有 y, w, yu 几个声母？
>>> from pypinyin import Style, pinyin
>>> pinyin('下雨天', style=Style.INITIALS)
[['x'], [''], ['t']]
因为根据 《汉语拼音方案》 ， y，w，ü (yu) 都不是声母。
声母风格（INITIALS）下，“雨”、“我”、“圆”等汉字返回空字符串，因为根据 《汉语拼音方案》 ， y，w，ü (yu) 都不是声母，在某些特定韵母无声母时，才加上 y 或 w，而 ü 也有其特定规则。 —— @hotoo
如果你觉得这个给你带来了麻烦，那么也请小心一些无声母的汉字（如“啊”、“饿”、“按”、“昂”等）。 这时候你也许需要的是首字母风格（FIRST_LETTER）。 —— @hotoo
参考: hotoo/pinyin#57, #22, #27, #44
如果觉得这个行为不是你想要的，就是想把 y 当成声母的话，可以指定 strict=False ， 这个可能会符合你的预期：
>>> from pypinyin import Style, pinyin
>>> pinyin('下雨天', style=Style.INITIALS)
[['x'], [''], ['t']]
>>> pinyin('下雨天', style=Style.INITIALS, strict=False)
[['x'], ['y'], ['t']]
详见 strict 参数的影响 。
如何减少内存占用
如果对拼音的准确性不是特别在意的话，可以通过设置环境变量 PYPINYIN_NO_PHRASES 和 PYPINYIN_NO_DICT_COPY 来节省内存。 详见 文档
更多 FAQ 详见文档中的 FAQ 部分。
拼音数据
- 单个汉字的拼音使用 pinyin-data 的数据
- 词组的拼音使用 phrase-pinyin-data 的数据
- 声母和韵母使用 《汉语拼音方案》 的数据
Related Projects
hotoo/pinyin: 汉字拼音转换工具 Node.js/JavaScript 版。
mozillazg/go-pinyin: 汉字拼音转换工具 Go 版。
mozillazg/rust-pinyin: 汉字拼音转换工具 Rust 版。
实现原理
主逻辑:
- 对输入的字符串按是否是汉字进行分词（seg）
- 对分词结果的每个词条进行获取词条拼音的逻辑
2.1 检查词条是否是汉字，不是汉字则走处理没有拼音数据的逻辑（handle_nopinyin）
2.2 检查词条是否在 PHRASES_DICT 中，如果在直接取 PHRASES_DICT 中这个词条的拼音数据 2.3 如果词条不在 PHRASES_DICT 中，遍历词条包含的字符，每个字符进行 single_pinyin 逻辑处理 - single_pinyin 的逻辑：
3.1 检查字符是否在 PINYIN_DICT 中，如果在的话，取 PINYIN_DICT 中这个字符的拼音数据 3.2 如果不在的话，走 handle_nopinyin 逻辑 - handle_nopinyin 逻辑: 根据 errors 参数的值返回不同的结果。
- 对上面的步骤获得的拼音数据按指定的拼音风格进行转换。
- PHRASES_DICT：词组拼音数据
- PINYIN_DICT: 单个汉字的拼音数据
本文使用 文章同步助手 同步
