数据蛙数据分析每周作业

python_20190407

2019-04-07  本文已影响10人  262153

1. 关于python基础元素可分为:

数字类型num; 字符串str; 列表list;元组tuple; 字典dict; 集合set;

其中属于序列的有:str, list, tuple, 通用操作有索引,切片,加法乘法,成员操作,最大/最

小值,长度

需要说明的是集合set 可实现元素的去重,不过集合是无序的;

set和dict 的“区别”:set{1,2,er} ;dict {key1:value1, key2:value2,....}, set 中无键值

set“关系判断”需求:(类似于数学中的集合操作),包括但不仅限于:交集、差集、并集

dir()函数:可直接获取对象模块的属性列表

if 函数的三目运算符,可以减少代码量 eg: b = 1 if a > 10 else 0

较为详细的说明可参考:Python中几个以“__”开头的方法介绍总结

关于python基础归纳:python基础

2. requests模块

.get() , .post() 请求 

其中可设置的参数包括 url, parmars, headers, proxies,timeout,cookies等。

.session()  会话对象用来保持cookie,不过方法级别的参数也不会被跨请求保持(详情)

requests 快速上手

requests使用方法(添加使用案例)

知识点更新: 1. 解析json响应:reponse.json 方法同json.loads(response.text)

                       2. 证书验证设置 verify=False

                       3. 超时异常捕获:requests.get('http://httpbin.org', timeout=0.1)

                       4. 使用try...except ...: ReadTimeout, HTTPError,RequestException

5.requests.post的files参数 : python的requests发送/上传多个文件

文件的写入操作:

1. os模块的基础操作

python文件和目录操作方法大全

(1). 文件写入读取时,路径path = "D:\BaiduNetdiskDownload\text" 路径为电脑中的绝对路径,不过在python中由于“\” 为转义字符,因此可能导致路径名出现错误,有两种方法可以解决:

a.path = r"D:\BaiduNetdiskDownload\text"

b. path = "D:\\BaiduNetdiskDownload\\text"

(2). 较为常用的 命令操作:

检验给出的路径是否真地存:os.path.exists()

if not os.path.exists(path):

    os.mkdir(path)

返回一个路径的目录名和文件名:os.path.split()   ;分离扩展名:os.path.splitext();

获取路径名:os.path.dirname() ;获取文件名:os.path.basename()

 eg  os.path.split('/home/swaroop/byte/code/poem.txt') 结果:('/home/swaroop/byte/code', 'poem.txt')

重命名:os.rename(old, new)搭配os.listdir() 所有文件和目录名进行文件名或目录名更改

for root, dirs, files in os.walk(path): #  root 当前目录; dirs 当前子目录; files 所有文件名

3.  响应解析

a. bs4

find(name,attrs,recursive,text,**wargs)

find_all(name,attrs,recursive,text,limit,**kwargs) 说白了,find()也就是当limit=1时的find_all()。

详细资料及用法

select(): 标签,属性,类名,soup.select('p .sister #link1') // 子标签,soup.select("head > title")

select 用法详解

b. re 正则

正则表达式(regular expression)就是用一个“字符串”来描述一个特征,然后去验证另一个“字符串”是否符合这个特征。p = pattern = " " 

可分类为: 普通字符匹配包括转义;通配符号\d,\w,\s, . , [ ]等;匹配次数{m,n}, ? ,*, + ;

                  其他含义字符:^ , $ , \b , | , ( )

主要知识点: 贪婪非贪婪 (默认为贪婪模式),“?”

                      反向引用(回溯) \1, \2...

举例3:表达式 "<(\w+)\s*(\w+(=('|").*?\4)?\s*)*>.*?" 在匹配 "" 时,匹配结果是成功。如果 "" 与 "" 不配对,则会匹配失败;如果改成其他配对,也可以匹配成功。

正则表达经典资料总结

上一篇下一篇

猜你喜欢

热点阅读