鱼c python 教程爬虫

2017-02-23 本文已影响262人石头的书桌

#鱼c

import requests
from bs4 import BeautifulSoup
import re


def get_pages_url():
    url = 'http://blog.fishc.com/category/python/page//'
    for i in range(1, 12):
        dic_url = url + str(i)
        parse_dic(dic_url)


def parse_dic(url):
    data = requests.get(url).content
    dic_bs = BeautifulSoup(data)

    try:
        bs_main = dic_bs.find('div', {'class': 'main'})
        bs_ul = bs_main.findAll('ul')

        for i in bs_ul:

            title = i.find('h2').find('a')['title']
            title_url = i.find('h2').find('a')['href']
            tag = i.find('span', {'class': 'info-category-icon'}).get_text()
            title_url_num = title_url.replace('http://blog.fishc.com/','').replace('.html','')
            download_url = 'http://blog.fishc.com/' + title_url_num +'.html#prettyPhoto/0/'
            real_data = requests.get(download_url).content
            real_download_bs = BeautifulSoup(real_data)
            download_button_part_bs = real_download_bs.find('p',{'id': 'download_button_part'})
            pan_bs = download_button_part_bs.findAll('a')[1]

            pan_url = pan_bs['href']
            pan_pwd = pan_bs.get_text()
            print(title)
            print(pan_url)
            print(pan_pwd)
            print('----------')
    except:
        pass


def main():
    get_pages_url()

if __name__ == '__main__':
    main()

详细阅读 Pygame：飞机大战7 – 零基础入门学习Python096（完）
http://pan.baidu.com/s/1dDwHvNz
百度网盘（密码：ji6c）
----------
详细阅读 Pygame：飞机大战6 – 零基础入门学习Python095
http://pan.baidu.com/s/1i3H7DXj
百度网盘（密码：wa3q）
----------
详细阅读 Pygame：飞机大战5 – 零基础入门学习Python094
http://pan.baidu.com/s/1jGhDJUY
百度网盘（密码：vj97）
----------
详细阅读 Pygame：飞机大战4 – 零基础入门学习Python093
http://pan.baidu.com/s/1o6Fvuhc
百度网盘（密码：ibe3）
----------
详细阅读 Pygame：飞机大战3 – 零基础入门学习Python092
http://pan.baidu.com/s/1hqGTtmG
百度网盘（密码：c0cd）
----------
详细阅读 Pygame：飞机大战2 – 零基础入门学习Python091
http://pan.baidu.com/s/1gduAFZl
百度网盘（密码：968i）
----------
详细阅读 Pygame：飞机大战1 – 零基础入门学习Python090
http://pan.baidu.com/s/1o65S1aa
百度网盘（密码：xc7v）
----------
详细阅读 Pygame：游戏胜利 – 零基础入门学习Python089
http://pan.baidu.com/s/1eQdHytc
百度网盘（密码：of1y）
----------
详细阅读 Pygame：摩擦摩擦 – 零基础入门学习Python088
http://pan.baidu.com/s/1c0994MO
百度网盘（密码：1zps）
----------
详细阅读 Pygame：播放声音和音效 – 零基础入门学习Python087
http://pan.baidu.com/s/1bnyLR1l
百度网盘（密码：dt98）
----------
详细阅读 Pygame：碰撞检测 – 零基础入门学习Python086
http://pan.baidu.com/s/1pJMJJBH
百度网盘（密码：6dnh）
----------
详细阅读 Pygame：动画精灵 – 零基础入门学习Python085
http://pan.baidu.com/s/1o6oqLzs
百度网盘（密码：log3）
----------
详细阅读 Pygame：绘制基本图形 – 零基础入门学习Python084
http://pan.baidu.com/s/1mgkVusS
百度网盘（密码：oj7p）
----------
详细阅读 Pygame：提高游戏的颜值3 – 零基础入门学习Python083
http://pan.baidu.com/s/1eQtoJXS
百度网盘（密码：6ej1）
----------
详细阅读 Pygame：提高游戏的颜值2 – 零基础入门学习Python082
http://pan.baidu.com/s/1dDlPkS5
百度网盘（密码：s3yx）
----------
详细阅读 Pygame：提高游戏的颜值1 – 零基础入门学习Python081
http://pan.baidu.com/s/1pJ1JB43
百度网盘（密码：8hk0）
----------
详细阅读 Pygame：事件 – 零基础入门学习Python080
http://pan.baidu.com/s/1eQhJbQ6
百度网盘（密码：ppmy）
----------
详细阅读 Pygame：解惑 – 零基础入门学习Python079
http://pan.baidu.com/s/1yMlNg
百度网盘（密码：37gj）
----------
详细阅读 Pygame：初次见面，请大家多多关照 – 零基础入门学习Python078
http://pan.baidu.com/s/1mg9qTks
百度网盘（密码：t5az）
----------
详细阅读 GUI的最终选择：Tkinter14 – 零基础入门学习Python077
http://pan.baidu.com/s/1c0dct7U
百度网盘（密码：udsi）
----------
详细阅读 GUI的最终选择：Tkinter13 – 零基础入门学习Python076
http://pan.baidu.com/s/1bnllIMj
百度网盘（密码：1nhe）
----------
详细阅读 GUI的最终选择：Tkinter12 – 零基础入门学习Python075
http://pan.baidu.com/s/1dDizAyl
百度网盘（密码：0g2i）
----------
详细阅读 GUI的最终选择：Tkinter11 – 零基础入门学习Python074
http://pan.baidu.com/s/1i3AHHDr
百度网盘（密码：cgm6）
----------
详细阅读 GUI的最终选择：Tkinter10 – 零基础入门学习Python073
http://pan.baidu.com/s/1ApSLo
百度网盘（密码：5y3s）
----------
详细阅读 GUI的最终选择：Tkinter9 – 零基础入门学习Python072
http://pan.baidu.com/s/1i3f9gVj
百度网盘（密码：kp9f）
----------
详细阅读 GUI的最终选择：Tkinter8 – 零基础入门学习Python071
http://pan.baidu.com/s/1sjr2S1Z
百度网盘（密码：hy23）
----------
详细阅读 GUI的最终选择：Tkinter7 – 零基础入门学习Python070
http://pan.baidu.com/s/1jGKhlFC
百度网盘（密码：iwop）
----------
详细阅读 GUI的最终选择：Tkinter6 – 零基础入门学习Python069
http://pan.baidu.com/s/1bnCnRX1
百度网盘（密码：h4k7）
----------
详细阅读 GUI的最终选择：Tkinter5 – 零基础入门学习Python068
http://pan.baidu.com/s/1eQ9z08U
百度网盘（密码：qjk8）
----------
详细阅读 GUI的最终选择：Tkinter4 – 零基础入门学习Python067
http://pan.baidu.com/s/1mgJw2Ju
百度网盘（密码：bdgy）
----------
详细阅读 GUI的最终选择：Tkinter3 – 零基础入门学习Python066
http://pan.baidu.com/s/1hqGgIK8
百度网盘（密码：6pmn）
----------
详细阅读 GUI的最终选择：Tkinter2 – 零基础入门学习Python065
http://pan.baidu.com/s/1dDGmRfV
百度网盘（密码：weef）
----------
详细阅读 GUI的最终选择：Tkinter – 零基础入门学习Python064
http://pan.baidu.com/s/1c0k00Li
百度网盘（密码：gcv6）
----------
详细阅读 论一只爬虫的自我修养4：OOXX – 零基础入门学习Python056
http://pan.baidu.com/s/1coluWm
百度网盘（密码：v82r）
----------
详细阅读 论一只爬虫的自我修养3：隐藏 – 零基础入门学习Python055
http://pan.baidu.com/s/1eQu5Moy
百度网盘（密码：qdgs）
----------
详细阅读 论一只爬虫的自我修养2：实战 – 零基础入门学习Python054
http://pan.baidu.com/s/1sj7aBlb
百度网盘（密码：fglm）
----------
详细阅读 论一只爬虫的自我修养 – 零基础入门学习Python053
http://pan.baidu.com/s/1bni0ExL
百度网盘（密码：gz5y）
----------
详细阅读 模块：像个极客一样去思考 – 零基础入门学习Python052
http://pan.baidu.com/s/1jGgk562
百度网盘（密码：x9as）
----------
详细阅读 模块：__name__=’__main__’、搜索路径和包 – 零基础入门学习Python051
http://pan.baidu.com/s/1gdzT17P
百度网盘（密码：fcem）
----------
详细阅读 模块：模块就是程序 – 零基础入门学习Python050
http://pan.baidu.com/s/1bnaZgC3
百度网盘（密码：1yh0）
----------
详细阅读 乱入：生成器 – 零基础入门学习Python049
http://pan.baidu.com/s/1kTMLSLh
百度网盘（密码：i0mu）
----------
详细阅读 魔法方法：迭代器 – 零基础入门学习Python048
http://pan.baidu.com/s/1pJ9M5PD
百度网盘（密码：rehp）
----------
详细阅读 魔法方法：定制序列 – 零基础入门学习Python047
http://pan.baidu.com/s/1hqvhH3Y
百度网盘（密码：8plr）
----------
详细阅读 魔法方法：描述符（property的原理）- 零基础入门学习Python046
http://pan.baidu.com/s/1rqkNG
百度网盘（密码：drj2）
----------
详细阅读 魔法方法：属性访问 – 零基础入门学习Python045
http://pan.baidu.com/s/1hqzRyvi
百度网盘（密码：u2ow）
----------
详细阅读 魔法方法：简单定制 – 零基础入门学习Python044
http://pan.baidu.com/s/1nt3eZUh
百度网盘（密码：bdsy）
----------
详细阅读 魔法方法：算术运算2 – 零基础入门学习Python043
http://pan.baidu.com/s/1nth0tK1
百度网盘（密码：gfq9）
----------
详细阅读 魔法方法：算术运算 – 零基础入门学习Python042
http://pan.baidu.com/s/1hqzl1jA
百度网盘（密码：0iga）
----------
详细阅读 魔法方法：构造和析构 – 零基础入门学习Python041
http://pan.baidu.com/s/1qWG6eDI
百度网盘（密码：xsem）
----------
详细阅读 类和对象：一些相关的BIF – 零基础入门学习Python040
http://pan.baidu.com/s/1bnrUfU3
百度网盘（密码：mvio）
----------
详细阅读 类和对象：拾遗 – 零基础入门学习Python039
http://pan.baidu.com/s/1nt40UI9
百度网盘（密码：7y1g）
----------
详细阅读 类和对象：继承 – 零基础入门学习Python038
http://pan.baidu.com/s/1pJp3L3t
百度网盘（密码：o95i）
----------
详细阅读 类和对象：面向对象编程 – 零基础入门学习Python037
http://pan.baidu.com/s/1dDo2obJ
百度网盘（密码：8bwb）
----------
详细阅读 类和对象：给大家介绍对象 – 零基础入门学习Python036
http://pan.baidu.com/s/1hqCcFvI
百度网盘（密码：pm0d）
----------
详细阅读 图形用户界面入门：EasyGui – 零基础入门学习Python035
http://pan.baidu.com/s/1dDeYMWx
百度网盘（密码：s8xu）
----------
详细阅读 丰富的else语句及简洁的with语句 – 零基础入门学习Python034
http://pan.baidu.com/s/1o6sTEum
百度网盘（密码：zt6q）
----------
详细阅读 异常处理：你不可能总是对的2 – 零基础入门学习Python033
http://pan.baidu.com/s/1c0lM016
百度网盘（密码：enaq）
----------
详细阅读 异常处理：你不可能总是对的 – 零基础入门学习Python032
http://pan.baidu.com/s/1pJHofQb
百度网盘（密码：zq0r）
----------
详细阅读 永久存储:腌制一缸美味的泡菜 – 零基础入门学习Python031
http://pan.baidu.com/s/1o660K8y
百度网盘（密码：3txa）
----------
详细阅读 文件系统:介绍一个高大上的东西 – 零基础入门学习Python030
http://pan.baidu.com/s/1gd8aYFx
百度网盘（密码：ovg3）
----------
详细阅读 文件:一个任务 – 零基础入门学习Python029
http://pan.baidu.com/s/1gdy76cr
百度网盘（密码：lydm）
----------
详细阅读 文件:因为懂你，所以永恒 – 零基础入门学习Python028
http://pan.baidu.com/s/1gdxR8v5
百度网盘（密码：p8b6）
----------
详细阅读 集合:在我的世界里，你就是唯一 – 零基础入门学习Python027
http://pan.baidu.com/s/1o6E8n6E
百度网盘（密码：su7n）
----------
详细阅读 字典:当索引不好用时2 – 零基础入门学习Python026
http://pan.baidu.com/s/1i3Dw9j3
百度网盘（密码：dxxo）
----------
详细阅读 字典:当索引不好用时 – 零基础入门学习Python025
http://pan.baidu.com/s/153uea
百度网盘（密码：h7u7）
----------
详细阅读 递归:汉诺塔 – 零基础入门学习Python024
http://pan.baidu.com/s/1i3uzHq9
百度网盘（密码：zaz1）
----------
详细阅读 递归:这帮坑爹的小兔崽子 – 零基础入门学习Python023
http://pan.baidu.com/s/1bnB6UN9
百度网盘（密码：gl4v）
----------
详细阅读 函数:递归是神马 – 零基础入门学习Python022
http://pan.baidu.com/s/1o6BQ3zW
百度网盘（密码：0nmw）
----------
详细阅读 函数:lambda表达式 – 零基础入门学习Python021
http://pan.baidu.com/s/1bnfINJT
百度网盘（密码：hyzq）
----------
详细阅读 函数:内嵌函数和闭包 – 零基础入门学习Python020
http://pan.baidu.com/s/1qWODAd2
百度网盘（密码：694k）
----------
详细阅读 函数:我的地盘听我的 – 零基础入门学习Python019
http://pan.baidu.com/s/1mgkQjqg
百度网盘（密码：3c13）
----------
详细阅读 函数:灵活即强大 – 零基础入门学习Python018
http://pan.baidu.com/s/1qWsP4Aw
百度网盘（密码：8mrf）
----------
详细阅读 函数:Python的乐高积木 – 零基础入门学习Python017
http://pan.baidu.com/s/153udK
百度网盘（密码：8gax）
----------
详细阅读 序列！序列！- 零基础入门学习Python016
http://pan.baidu.com/s/1mgECvNy
百度网盘（密码：9rm9）
----------
详细阅读 字符串:格式化 – 零基础入门学习Python015
http://pan.baidu.com/s/175lcM
百度网盘（密码：uuca）
----------
详细阅读 字符串:各种奇葩的内置方法 – 零基础入门学习Python014
http://pan.baidu.com/s/16Pkke
百度网盘（密码：b5h4）
----------
详细阅读 元组:戴上了枷锁的列表 – 零基础入门学习Python013
http://pan.baidu.com/s/1sj0UZ4D
百度网盘（密码：g7eo）
----------
详细阅读 列表:一个打了激素的数组3 – 零基础入门学习Python012
http://pan.baidu.com/s/1hqGg1i0
百度网盘（密码：xiji）
----------
详细阅读 列表:一个打了激素的数组2 – 零基础入门学习Python011
http://pan.baidu.com/s/1dDEkFNr
百度网盘（密码：hl9j）
----------
详细阅读 列表:一个打了激素的数组 – 零基础入门学习Python010
http://pan.baidu.com/s/1mgmSbEw
百度网盘（密码：mnzu）
----------
详细阅读 了不起的分支和循环03 – 零基础入门学习Python009
http://pan.baidu.com/s/1c0F8E8w
百度网盘（密码：rywd）
----------
详细阅读 了不起的分支和循环02 – 零基础入门学习Python008
http://pan.baidu.com/s/1gdH4zTp
百度网盘（密码：n0ux）
----------
详细阅读 了不起的分支和循环01 – 零基础入门学习Python007
http://pan.baidu.com/s/1kT9UIeb
百度网盘（密码：bvxw）
----------
详细阅读 Pyhon之常用操作符 – 零基础入门学习Python006
http://pan.baidu.com/s/1jGqtXR4
百度网盘（密码：ruqe）
----------
详细阅读 闲聊之Python的数据类型 – 零基础入门学习Python005
http://pan.baidu.com/s/1sj0oZ8p
百度网盘（密码：gz6y）
----------
详细阅读 改进我们的小游戏 – 零基础入门学习Python004
http://pan.baidu.com/s/1hqrdUVa
百度网盘（密码：vuhy）
----------
详细阅读 小插曲之变量和字符串 – 零基础入门学习Python003
http://pan.baidu.com/s/1pJxBomR
百度网盘（密码：h7kb）
----------
详细阅读 用Python设计第一个游戏 – 零基础入门学习Python002
http://pan.baidu.com/s/1c0wBKGC
百度网盘（密码：nttz）
----------
详细阅读 我和Python的第一次亲密接触 – 零基础入门学习Python001
http://pan.baidu.com/s/1ntDqzpv
百度网盘（密码：zz7x）
----------
详细阅读 愉快的开始 – 零基础入门学习Python000
http://pan.baidu.com/s/1i35UZit
百度网盘（密码：c5yn）
----------

鱼c python 教程爬虫

猜你喜欢

热点阅读

鱼c python 教程 爬虫

猜你喜欢

热点阅读

鱼c python 教程爬虫