词库构建工具癖

把搜狗输入法词库导入Google拼音输入法

2017-11-26  本文已影响0人  喝可乐的老余

前段时间从网上找的文章,照虎画猫的在github建了一个Github Page,对git没有丝毫的了解,在我司工作电脑和家里电脑来回折腾对我来说太难,就把那里唯一一篇内容搬到简书上来。

这也是第一篇在简书上用Markdown写的文章。

为什么折腾词库

都在说百度、讯飞等输入法上传用户词库,为了安全建议大家使用google输入法之类,话说回来,要想使用智能联想功能是不是就得把你输入习惯放在他的里面跑一圈才能知道你的输入习惯吧?
用什么输入法都是个人习惯,不过自打有了智能ABC拼音输入法的时候已经有本机记录输入词频的功能,个人还是喜欢Google拼音输入法,电脑端、手机端(我不是miboy)都安装。
因为各种原因,目前google拼音输入法的词库同步功能无法使用,重装系统之后除了把自己备份的词库手动导入之外,显得词库太瘦,由studyzy在github上发布的imewlconverter深蓝词库转换工具:

一款输入法词库转换软件,支持以下超过20种的输入法工具和词库

有了这个神器,就有想把搜狗词库下载下来。

一、开始手工活

1、通过搜狗细胞词库页面:

搜狗词库首页图片.png
2、通过查看网页源代码查找:

/dict/cate/index/

可以看到,有下面几大类:

  • 人文科学
  • 农林渔畜
  • 医学
  • 城市信息大全
  • 娱乐
  • 工程与应用科学
  • 生活
  • 电子游戏
  • 社会科学
  • 自然科学
  • 艺术
  • 运动休闲

3、可以进一步看到每一类的单独页面是

http://pinyin.sogou.com/dict/cate/index/167?rf=dictindex 城市信息大全
http://pinyin.sogou.com/dict/cate/index/436?rf=dictindex 电子游戏
http://pinyin.sogou.com/dict/cate/index/1?rf=dictindex 自然科学
http://pinyin.sogou.com/dict/cate/index/31?rf=dictindex 人文科学
http://pinyin.sogou.com/dict/cate/index/76?rf=dictindex 社会科学
http://pinyin.sogou.com/dict/cate/index/96?rf=dictindex 工程与应用科学
http://pinyin.sogou.com/dict/cate/index/127?rf=dictindex 农林渔畜
http://pinyin.sogou.com/dict/cate/index/132?rf=dictindex 医学
http://pinyin.sogou.com/dict/cate/index/154?rf=dictindex 艺术
http://pinyin.sogou.com/dict/cate/index/367?rf=dictindex 运动休闲
http://pinyin.sogou.com/dict/cate/index/389?rf=dictindex 生活
http://pinyin.sogou.com/dict/cate/index/403?rf=dictindex 娱乐

4、找到子类
里面的数字相当于是他的ID,点击进入每个大类,会打开对应的每一个细类,在细类页面找到每一类的总页数,例如,自然科学 这个大类总页数是10页,每一页的具体页面是:

http://pinyin.sogou.com/dict/cate/index/1/default/1
http://pinyin.sogou.com/dict/cate/index/1/default/2
http://pinyin.sogou.com/dict/cate/index/1/default/3
……

二、词库下载地址

在子类的每一个页面查找

<div class="detail_title"><a href=

找到分页面里的词库名称:

http://pinyin.sogou.com//dict/detail/index/15206 动物词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15208 地理地质词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15124 生物词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15205 化学化工词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15202 数学词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15203 物理词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15207 植物词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15204 天文词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/15120 气象词汇大全【官方推荐】
http://pinyin.sogou.com//dict/detail/index/20660 测绘词汇大全【官方推荐】 

对应的下载地址继续查找:



http://download.pinyin.sogou.com/dict/download_cell.php?id=15206&name=%E5%8A%A8%E7%89%A9%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15208&name=%E5%9C%B0%E7%90%86%E5%9C%B0%E8%B4%A8%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15124&name=%E7%94%9F%E7%89%A9%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15205&name=%E5%8C%96%E5%AD%A6%E5%8C%96%E5%B7%A5%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15202&name=%E6%95%B0%E5%AD%A6%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15203&name=%E7%89%A9%E7%90%86%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15207&name=%E6%A4%8D%E7%89%A9%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15204&name=%E5%A4%A9%E6%96%87%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=15120&name=%E6%B0%94%E8%B1%A1%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91
http://download.pinyin.sogou.com/dict/download_cell.php?id=20660&name=%E6%B5%8B%E7%BB%98%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91

其中

http://download.pinyin.sogou.com/dict/download_cell.php?id=15206&name=%E5%8A%A8%E7%89%A9%E8%AF%8D%E6%B1%87%E5%A4%A7%E5%85%A8%E3%80%90%E5%AE%98%E6%96%B9%E6%8E%A8%E8%8D%90%E3%80%91

这个地址是 自然科学 大类下 动物词汇大全【官方推荐】 这个词库的地址,等同于

http://download.pinyin.sogou.com/dict/download_cell.php?id=15206&name=动物词汇大全【官方推荐】

给每个下载地址加入“.scel”后缀【在浏览器下载可以不需要加这个后缀】,放到迅雷里进行下载。

三、用到的工具

pycharm

找到子类分页面之后,通过python的request包把页面源代码下载到本地。(python连初学都算不上)

ultraedit

通过ultraedit的在文件中查找功能找到子类名称、词库名称和下载地址。

迅雷

在下载链接中加入scel后缀之后加入迅雷进行下载。
PS:词库有重复的。
一共找到6912个词库,自己下载了2000个。

书到读时方恨少,python应该可以一次搞定这个事情,这里算是用打补丁的方式做了。

Update :2017年11月27日

部分词库.PNG

这是下载下来的部分词库


使用深蓝词库转换工具进行转换.PNG

从深蓝工具中词库路径


选择输出哪种格式.png

选择导出为Google拼音输入法格式,也就是txt格式


导出结果.PNG

最后,使用Google拼音输入法的词库导入功能就可以把需要的词库导进去,好像只能单条导入。

上一篇下一篇

猜你喜欢

热点阅读