爬虫的主函数该怎么写

主函数中是将前边写的所有函数汇总，通过多线程，将爬虫稳步有序的进行。
头文件中的那些是之前写好的做引用
用到了多线程技术，在python中，Pool函数是个好的多线程工具

__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url

def get_all_links_from(channel):  #获取地址池中的数据并获得后执行 get_pages_url()函数
    for i in range(1,50):
        get_pages_url(channel,i)

if __name__ == '__main__':  #固定格式，可以先不用管
    pool = Pool()
    pool.map(get_all_links_from,channel_list.split()) #用到了进程相关知识 map函数的作用就是 将后边的一次一次循环的和前边做“与”的操作