Selenium爬携程酒店评论+jieba数据分析实战

2019-01-11 本文已影响35人王同学死磕技术

如果你想使用最少的时间相对客观的了解一样事物，那么最好的方式就是快速收集大量的关于它的评价，然后迅速地找出这些评价中的关键信息。

而这道题目，有两个特别大的难点：1.如何快速收集大量的评论；2.如何迅速的从大量评论中抽取关键信息。

基于python语言的爬虫技术和文本分析技术刚好可以克服这两大困难，帮助我们更快更客观的了解某样事物。接下来，我们使用python的Selenium和jieba对携程某酒店网页的评论进行抓取和分析。请大家搬好小板凳。

爬取评论数据

Selenium模拟浏览器

selenium是python中一个具有模拟浏览器操作功能的package。随着反爬虫技术日益强大，网页数据多数通过js和Ajax动态加载，简单的网页解析很难拿到关键数据。selenium的作用就发挥出来，它可以模拟浏览器向服务器发送请求，服务器将数据返回并加载到浏览器端后，我们就这样轻松的绕过了各种复杂的js解析过程，拿到那些动态加载的数据。
下面就是如何通过selenium模拟谷歌浏览器的一段代码，需要强调的是chromedriver的版本(下载地址)一定要和chrome的版本对应，比如笔者的chrome版本是71.0.3578.98（正式版本），则chromedriver对应版本是2.45，而且chromedriver下载完成后，解压后的chromedriver.exe 需放在chrome的应用文件夹内。

  def generate_chrome():
    chromedriver = "C:\Program Files (x86)\Google\Chrome\Application\chromedriver"
    os.environ["webdriver.chrome.driver"] = chromedriver
    options = webdriver.ChromeOptions()
    options.add_argument('lang=zh_CN.UTF-8')
    options.add_argument('--no-sandbox')
    driver= webdriver.Chrome(chromedriver)
    return driver

网页分析

首先我们进入携程官网某酒店的页面。直奔主题，找到评论区，利用chrome的审查元素功能查看评论的html代码，发现原来每条评论都装在一个class为J_commentDetail的div 块里面。熟悉BeautifulSoup的朋友很容易就能想到，使用BeautifulSoup中按特定类选择器查找的函数soup.find_all(class_ ="xxx")就可以拿到所有评论。

评论解析.png

接下来问题来了，这样查找文本只能拿到第一页的评论，如何对评论进行翻页操作呢？此时我们又要用请出selenium神器为评论爬取之旅保驾护航啦。还是同样的套路，用chrome对"下一页"这个链接进行元素审查，发现它是一个class为"c_down"的a标签。于是我们使用 next_ = driver.find_element_by_class_name("c_down")这个函数模拟"下一页"按钮。之后只需要简单的通过click方法就可以实现翻页功能了。

下一页解析.png

下面的代码是使用selenium和BeatiBeatifulsoup对酒店评论进行抓取的部分。由于网页加载延迟问题，有时候点下一页，评论还没完全加载出来，代码就执行评论抓取的话，会导致评论抓取不到，所以增加了等待网页加载的部分。笔者只取了100页的评论数据。

def get_comment(driver):
    comment_list = []
    for i in range(100):
        try:
            locator = (By.CLASS_NAME, 'comment_main')
            WebDriverWait(driver, 20, 0.5).until(EC.presence_of_element_located(locator))
            soup = BeautifulSoup(driver.page_source,"lxml")
            comment = soup.find_all(class_ = "J_commentDetail")
            for j in comment:
                comment_list.append(j.text)#拿到每条评论
            next_ = driver.find_element_by_class_name("c_down")
            next_.click()
            print("第{}页".format(i))
            time.sleep(2)
        except:
                pass
    return comment_list

运行如下代码后，笔者一共拿到967条酒店评论数据。

driver = generate_chrome()# 模拟谷歌浏览器
driver.get("http://hotels.ctrip.com/hotel/396453.html")#获取酒店页面
comment_list = get_comment(driver)#爬取评论数据
comment_list = len(set(comment_list))
text = " ".join(comment_list)#获得数据文本

评论数据如下图所示，都是曾经住过这所酒店的人们对这所酒店的评价。满满的真情实感。

评论数据.png

文本分析

jieba

jieba是python语言中一个处理中文文本的package，常常被用来进行中文分词，词性标注，关键词提取。

关键词抽取

接着我们使用jieba自带的关键词抽取功能对对爬下来的评论数据进行分析，算法部分使用的是tf-idf，细节我就不介绍了，感兴趣的同学可以去研究一下。从分析结果我们可以发现，"江景 ,服务，热情，前台，免费，早餐。。。"等重要程度高的关键词被提取出来。哇，在我们的脑海中一下子就浮现出一个可以观赏江景，前台热情，早餐免费，服务不错的酒店形象。大数据果真拥有大智慧呀。

def get_key_words(text):
    return  jieba.analyse.extract_tags(text)

关键词.png

生成词云

最后我们使用word_cloud将这些关键词可视化，这里字的尺寸越大代表这个词的信息越重要哦。从词云图中，我们可以更加直观的认识到这个酒店的特质，是不是很神奇。

def generate_word_cloud(text):
    keywords = analyse.extract_tags(text,topK=100,withWeight=True)
    wordcloud =  WordCloud(font_path='./msyh.ttc',#设置字体
                    background_color="black", #背景颜色
                    max_words=2000,# 词云显示的最大词数
                    max_font_size=100, #字体最大值
                    random_state=42,
                    )
    wordcloud.fit_words(dict(keywords))
    plt.imshow(wordcloud)

词云.png

结语

以上，我们了解到如何通过爬虫技术进行数据获取，以及数据分析技术对数据分析。运用大数据技术客观准确地认识事物的本质，在笔者看来是很值得探索的一个课题，要知道这个信息过载的时代，真相真的很难被挖掘出来。(这段很狗血，见谅)