叹成龙大哥老矣，豆瓣爬虫数据分析初体验

2017-01-17 本文已影响59人 Javalover93

从最初硬桥硬马的功夫片，到成龙自创的红遍全球的谐趣武打，及至千禧年后成龙的几部邻家大叔范的功夫电影，凭借他在功夫电影这一华语电影里为数不多的拥有全球影响力的类型片上做出的成就，成龙绝对担得起“大哥”的名号。听到成龙获得奥斯卡终身成就奖，我相信很多朋友都和我一样感到惊喜、骄傲，忍不住想要在电脑或手机屏幕前冲着大哥的获奖照鼓掌。因为成龙带给我的不单单是几部优质的电影，更是人生旅途上一段段难以忘怀的欢乐记忆。

实至名归的大奖

伤感的是，等我有钱自己买票进场给大哥叫好时，银幕里的成龙已经疲态明显，电影也不再如当初那么惊险刺激，颇有几分无理打闹的三流噱头港片的色彩。16年年底我看完《铁道飞虎》，觉得平淡无味，富态的成龙在片中可以说没有几个打斗动作，稍微有点难度的都是疑似替身的背面镜头。翻看豆瓣记录，发现16年上半年居然还有一部《绝地逃亡》，真的是毫无影响。可能是片中成龙衣服穿得少，动作戏比较瞩目，同样并不叫好的《绝地逃亡》评分居然还比《铁道飞虎》高一些。内心惊呼：大哥老矣！

穿得的确有点少

虽然早在第一部自己买票进场的《大兵小将》时，我和几位喜欢成龙电影的朋友都有了这样的默契：随着不可避免地年龄增长，成龙在电影里的打斗戏会越来越少。但我从来没有意识到，以谐趣武打为招牌的“成龙电影”，居然也要因为大哥的老去而老去。

正题：爬虫和数据分析的思路

为了验证这个无奈的猜想，我爬取了豆瓣上成龙参演电影的评分，希望历史评分数据能够告诉我更多的内容。

我主要的工作内容是这样的：

找到豆瓣上成龙参演电影的列表；

豆瓣居然有这样一个清晰的列表，省了多少事啊！直接复制粘贴到Excel都可以！
编写Pythoon爬虫，获取电影名称、上映年份、评分、成龙在其中的工作性质（演员、导演或制片等），把爬取到的数据整理后输出到txt文本里；
把文本数据导入Excel，拉一个数据透视表（上一部明明可以直接导出为xls文件的），按年汇总评分并计算年度平均分，作图。

数据没有好好清理
上图的曲线十分平缓，似乎反驳了我的假设，但是看了一下原数据的列表，发现原来混杂了不少成龙配音的动画片、成龙制片的非成龙类型武打片和真人秀等各种奇怪的条目。于是我对数据进行了分类，区分出典型的成龙电影和非成龙电影。成龙电影就是本文开头所说的那三种成龙主演的功夫电影，依据是否是成龙主演（以是否在演员列表前2名内判断）和是否是电影（偷懒地用有无IMDb编码判断）两个判断条件进行删选。其实可以更加细致，比如按照电影类型是不是武打片，但成龙主演这个选项基本会包含所有成龙参演的武打片，且主演的武打片肯定是谐趣武打，而不会是《新少林寺》或者《功夫之王》这些片子。重新作图（作图不够严谨，但辞能答意）。

完成版

结论

比对上图和原始数据能轻易看出来的几点：

近几年，大哥的电影评分越来越低。2014年大哥是没有新片上映的，那个灰色历史平均线上的数据点是历史均值的补充数据，这意味着2012年以来大哥要么没有新片，要么没有好片；
成龙电影历史均分在6.5以上，这说明总体上大哥所有的电影总体上质量是还可以的（毕竟是武打片，偏娱乐向，不能和其他类型的比思想深度）；
1973年第一部（不知道是否准确）主演的电影《广东小老虎》，豆瓣上评分人数只有666人；
1983年成龙电影年度平均分第一次超过历史平均分，那一年成龙有2部影片《A计划》和《龙腾虎跃》（只有差强人意的5.9分），其中《A计划》分数高达7.7分，居然还是成龙电影历史最高分，据说《A计划》真正地开启了成龙式功夫喜剧的类型；

小时候都以为是“香港王八警察”--Hongkong Royal Badass
1978年大哥简直不要命地出片啊，其中就有《醉拳》、《蛇形刁手》这样的传世经典，现在从上面的折线图看来，这个蓝色小峰简直是在暗示着什么；
1983年到2000年，称得上是成龙电影的黄金岁月了，98年《尖峰时刻》让成龙上了时代杂志封面，但自此之后，似乎有什么变了，但又没有变（文末有彩蛋）；

堵塞交通...
04年和06年两个橙色小峰的“回光”刚好就是《新警察故事》和《宝贝计划》，有趣的是，在我的记忆里，这两部的画质好比是高清DVD格式，而之前的都是带雪花点的盗版VCD格式；
12年的《十二生肖》是目前最后一部高于历史平均分的，当年这部电影好像在主流媒体圈又给海外文物追回的问题续了一年的讨论文章，那时候大哥居然还穿着滑轮服飞山路，现在想来颇有几分唏嘘。观看该片段

最后的“奇技淫巧”？

抒情

其实，我好像并没有认真地看过几部2000年前的成龙电影，但是记忆力却好像看过无数回。作为一个浙江的留守儿童，小时候好像每年都会坐长途车往返父母工作地和家乡一次。在这些或坐或卧的大巴里，肯定会有车载电视，里面放的肯定是香港电影，十有八九又肯定是功夫电影。在漫长的旅途中，随随便便都可以看掉十几部。如果不是打打闹闹的功夫片，满车的人估计就只能连睡3天3夜。而那时候的我，如果没看到成龙、李小龙等喜欢的功夫明星，似乎就会觉得多了点空落落，少了点喜悦。

昨天，看新闻说摩托大军又开始了一年一度的返乡旅途。他们不能看电影节目，不能听着音乐，只能日夜风雨兼程，听凛冽的呼呼风声，看着与他们无关的景色从身边掠过……