Python | os、jieba、lambda

Life is short. You need Python.

我们的机器学习课和文本分析课的老师
（好吧是同一个老师）
一直坚持着一个信条
就是Project-Oriented Learning
我不知道这样的好处是什么
也许是做出来一个东西确实会很有成就感
但是
学习的过程真的很痛苦
尤其是
像我这样的笨蛋
而且还是paranoid的笨蛋
没有TA 我也就不愿意请教其他人
就
很痛苦

---

今天学了几个python的方法
权当mark一下加深记忆
免得像某人一样把去年实训的东西都忘掉了

os.walk()

• 概述：os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。
• 语法

os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]])

好的这些语法格式我一向是看不懂的
总之传入1~4个参数

1. top ：你所要遍历的目录的地址
2. (可选) topdown True，则优先遍历 top 目录，否则优先遍历 top 的子目录(默认为开启)
3. (可选)onerror看不懂
4. (可选)followlinks看不懂
   不管了反正我也只用了前两个

• 返回值 该方法没有返回值。会生成一个三元组(root,dirs,files)。
  root 所指的是当前正在遍历的这个文件夹的本身的地址
  dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
  files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
  今天用到它，是因为我的120个txt文档没有放在同一个文件夹里，而是分别装在120个文件夹里，这120个文件夹再装在一个文件夹里。所以好像不能直接遍历。
  看我写的扣！

def read_files(root):
    texts = []
    for path, dirs, names in os.walk(".", topdown=False):
        for name in names:
            filename = os.path.join(path, name)
            if re.match(".* .txt", filename):  # 找到所有章节的txt文档
                with open(filename, "r", encoding='utf-8') as f:
                    lines = f.readlines()  # readlines()返回一个list
                    texts.extend(lines)  # 每个文件的文本存到list中

    return texts

以及我今天又被强迫症程序员diss了
哼

jieba

https://github.com/fxsjy/jieba
jieba是一个强大的中文分词module

• 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
• 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
• 对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法

它的算法以后再说（mark住先），先用起来！
支持繁体分词，支持自定义词典
这就已经很棒棒了

• 安装 安装很简单， pip install jieba就ok了。当然出了bug不要找我，嘻嘻。
• 功能 有很多，我都没用过。
  我只用了jieba_cut()但是它还有关键词提取和词性标注等等功能，以后再说。
  jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 以及 jieba.lcut_for_search 直接返回 list。
• 载入词典
  jieba.load_userdict(file_name) # file_name
  词典格式和 dict.txt 一样，一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
  因为我要繁体分词所以导入了它提供的繁体辞典:
  jieba.set_dictionary('data/dict.txt.big')
• 调整词典 add_word()和del_word()

lambda

lambda就是匿名函数。
好的其实我并不是很懂
你们自己顾名思义去吧
（photo）
简单讲，就是没有具体名称的函数
它允许快速快速定义单行函数
语法：
lambda [arg1 [, agr2,.....argn]] : expression
我今天用lambda时结合了一个过滤器，这是常见的用法。
word_tokens = list(filter(lambda token: token.isalpha(), tokens))
勉强看懂是说在tokens这个list的元素（字串）token里，只保留字符，把其他奇怪的符号剔除掉。emm我的表达能力真是不敢恭维

编码格式

这个真的好迷！
各种很迷的bug
等我搞懂了再来写！

collections

这个等我明天写完作业再来写！

嘻嘻，周末大家过得怎样？
明天又是新的一周咯。