Python 词频统计-中文分词

中文分词：

我的家乡可以分为 我 的 家乡

停用词

数据处理，需要过来的词语和子 如web，网址等 语气助词、副词、介词、连接词等

通过jieba中文分词包

import jieba;

for w in jieba.cut("我爱Python"):

print(w)

输出为：

我

爱

Python

例如：

for w in jieba.cut("""

工信处女干事

每月经过下属科室都要亲口交代

24口交换机等技术性器件的安装工作

"""):

print(w)

输出：

工信处

女干事

每月

经过

下属

科室

都

要

亲口

交代

24

口

交换机

等

技术性

器件

的

安装

工作

jieba包导入新的词库

jieba.load_userdict(

'D:\\PDM\\2.2\\金庸武功招式.txt'

);

中文分词统计

第一步构建语料库

import os;

import os.path;

import codecs;

filePaths = [];

fileContents = [];

for root, dirs, files in os.walk(

"D:\\PDM\\2.2\\SogouC.mini\\Sample"

):

for name in files:

filePath = os.path.join(root, name);

filePaths.append(filePath);

f = codecs.open(filePath, 'r', 'utf-8')

fileContent = f.read()

f.close()

fileContents.append(fileContent)

import pandas;

corpos = pandas.DataFrame({

'filePath': filePaths,

'fileContent': fileContents

});

第二步：通过jieba分词统计

import jieba

segments = []

filePaths = []

for index, row in corpos.iterrows():

filePath = row['filePath']

fileContent = row['fileContent']

segs = jieba.cut(fileContent)

for seg in segs:

segments.append(seg)

filePaths.append(filePath)

segmentDataFrame = pandas.DataFrame({

'segment': segments,

'filePath': filePaths

});