python爬虫豆瓣250top电影作业

from bs4 import BeautifulSoup
import re
import os
import urllib.request, urllib.error
import urllib.parse  # 解析器
import xlwt
import sqlite3

#主函数
def main():
    baseurl="https://movie.douban.com/top250?start="
    #1.爬取网页
    datalist = getData(baseurl)
    #savepath=".\\data.xls" #excel保存方法
    dbpath="movie.db"
    #3.保存数据
    #saveData(datalist,savepath)
    save2dbPath=(datalist,dbpath)
#定义全局变量：用于筛选的几种规则
#re.compile-创建正则表达式对象，表示字符串格式（规则）
#链接格式是 <a href= “这里是链接有各种字符” >；  （）一个组;   .表示一个字符；  *表示0个或多个字符；   ？表示0次或1次
#‘’表示字符串
findLink = re.compile(r'<a href="(.*?)">')
findImgSrc=re.compile(r'<img.*src="(.*?)"',re.S) # .*表示有若干字符；re.S 让换行符包含在字符中
findTitles = re.compile(r'<span class="title">(.*)</span>')
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
findJudge = re.compile(r'<span>(\d*)人评价</span>')#\d 表示数字
findInq = re.compile(r'<span class="inq">(.*)</span>')
findBd=re.compile(r'<p class="">(.*?)</p>',re.S)



#爬取网页
def getData(baseurl):

    datalist=[]
    for i in range(0,10): #调用获取页面信息的函数
        url=baseurl+str(i*25)
        html = askURL(url) #保存获取的网页源码

        #2.逐一解析数据
        soup= BeautifulSoup(html,"html.parser")#用html.parser这个html解析器来解析html
        for item in soup.find_all('div',class_='item'):
        #查找所需内容形成列表,注意class_是避免class类别报错
        #查找div 里面属性class的内容是”docsum-content“
            data=[] #保存一部电影所有信息
            item=str(item)

            #影片详情的连接
            # 用正则表达式查找指定字符串
            link=re.findall(findLink,item)[0] #用findLink模式从item里面找符合的内容，获取第一个[0]
            data.append(link) #添加连接
            imgSrc =re.findall(findImgSrc,item)[0]
            data.append(imgSrc)#添加图片
            titles = re.findall(findTitles, item)
            # 可能有中英文名
            if (len(titles)==2):
                Ctitle=titles[0]
                data.append(Ctitle)
                Ftitle=titles[1].replace("/","")#去斜杠
                data.append(Ftitle)
            else:
                data.append(titles[0])
                data.append(' ') #注意留空
            rates = re.findall(findRating, item)[0]
            data.append(rates)
            judge = re.findall(findJudge, item)[0]
            data.append(judge)
            inq = re.findall(findInq, item) #有可能没有概述
            if len(inq)!=0:
                inq=inq[0].replace("。","")#去掉句号
                data.append(inq)
            else:
                data.append(" ")  #留空

            bd = re.findall(findBd, item)[0]
            bd=re.sub('<br(\s+)?/>(\s+)?',' ',bd)#替换不需要的成分<br/>
            bd = re.sub('/', ' ', bd) #替换/
            data.append(bd.strip())#去掉前后空格

            datalist.append(data) #把处理好一部电影的信息放入datalist

    # print(datalist)
    return datalist


#得到指定一个URL的网页内容,askURL函数调用可以时多个url被调用
def askURL(url):
    head={ #模拟浏览器头部信息，向服务器发送消息
         "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit 537.36 (KHTML, like Gecko) Chrome6 Edg/89.0.774.63"
    }
    #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器，浏览器（本质是告诉浏览器，我们可以接受什么水平的文件内容）

    request=urllib.request.Request(url,headers=head) #库.对象.封装（url，头部信息），携带头部信息访问url

    html = ""#用字符串 存储访问
    try:
        response=urllib.request.urlopen(request) #发出信息后返回一个对象response包含所有网页信息
        html=response.read().decode("utf-8") #.read 方式读取
        # print(html)
    except urllib.error.URLError as e: #可能会遇到404，500等访问异常
        if hasattr(e,"code"):#hasattr(e,"code")判断e这个对象里面是否包含了code这个属性
            print(e.code)#打印错误变量
        if hasattr(e,"reason"):
            print(e.reason)#打印错误原因
    return html


#保存数据
def saveData(datalist,savepath):
    print("save...")
    workspace=xlwt.Workbook(encoding="utf-8") #创建excel
    worksheet=workspace.add_sheet("豆瓣电影250",cell_overwrite_ok=True) #创建工作表，可以覆盖输入
    col=("链接","图片链接","影片中文名","影片英文名","影片评分","影片评分人数","一句话介绍","详情")
    for i in range(0,8):
        worksheet.write(0,i,col[i]) #在第1行，沿着i列写入列名
    for j in range(0,250):
        print("第%d行"%j)
        data= datalist[j]#读取datalist 第j行
        for i in range(0,8):
            worksheet.write(j+1,i,data[i])#从第2行开始，写入i列数据
    workspace.save(savepath)# 保存


#创建数据库
#初始化数据库
def init_db(dbpath):
    #sql="" #创建数据表
    sql='''
        create table movie250 
        (
        id integer primary key autoincrement,
        info_link text,
        pic_link text,
        cname varchar,
        ename varchar,
        score numeric ,
        rated numeric ,
        instroduction text,
        info text
        )
    '''
    #create table 表格名(
    # 变量名 integer整数型 primary key主键 autoincrement自增长,
    # 变量名 text文本格式,
    # 变量名 varchar,
    # 变量名 numeric数值（可小数）
    # )
    conn=sqlite3.connect(dbpath)
    cursor=conn.cursor()#创建游标 进行操作
    cursor.execute(sql)#用cursor调用执行的sql语句
    conn.commit()#提交
    conn.close()#关闭数据库




#保存到数据库
def save2db(datalist,dbpath):
    print("....")





#函数入口
if __name__=="__main__": #当主函数执行时
    #__name__表明当前执行的程序的名字
    #如果执行的程序名name=main
    # main()#调用函数
    init_db('movie250.db')
    print("爬取完毕！")