使用Gephi分析论坛社交关系网络

本文用Python抓取QQ群论坛中的发贴、留言数据，以此构成社交关系数据，再进行数据处理，最后用Gephi绘制社交关系网络图。数据源选取的是QQ群论坛（一个收费的成长学习论坛，论坛沉淀了一年的数据）。

步骤：
1）分析人物关系，确认数据抓取方式
2）编写Python程序抓取人物关系数据
3）数据清洗，汇总
4）数据导入Gephi，调整参数绘制

一、分析页面，确定抓取构成人物关系的数据源

社交关系网络的构成是节点和边，人物就是节点，边（连线）即是关系。这个论坛采用的是一人一个主题贴，盖楼的方式记录学习成长，其他人在主题贴下回复，回复即互动。

节点，就是论坛中的参与者（成长会成员）。回复构成连接，回复多即关系强（互动多，weight数值大）。

所以在抓到数据时，就是抓取发贴数量，回复人即可，即把页面所有发表主题贴和回复贴的用户名进行抓取即可，再进行数据汇总统计，就构成社交关系数据（source -- 发贴人, target -- 回复者, weight -- 发贴人与回复者互动次数）

发贴与回复

二、Python爬虫抓取数据

采用Scrapy框架编写爬虫抓取数据：
1）论坛登录问题，用Cookie登录比较简单。参见之前的文章《Scrapy用Cookie实现模拟登录》

2）注意，论坛中主题贴，他人主题回复，在回复下的回复（楼中楼）使用了不同要标签样式，抓取时不要遗漏。采用一个比较简单的检查方式，选取一个发贴比较少的用户，各种回复都出现的，抓取数据后进行比对复查。

在反复检查核对抓取一个用户的数据后，发现登录用户名的数据会出现在每一页中，也会抓取下来，核对源代码发现，是因为论坛的每一页下有一个发贴的地方。无法在程序抓取时排除，只能放到下面数据清洗时处理。

3）分页抓到一个用户所有数据
进行第一页时，获到当前用户的页数即可，循环抓取一个用户所有页的发贴、留言、回贴的用户名。

4）抓取所有用户
由于论坛用户是顺序编号，论坛是Restful架构风格，只要一个循环可以抓取所有用户的社交信息。只不过进入页面需要判断这个页面是不是有效页面，因为可能id已费掉，没有数据。

爬虫数据保存用了CSV文件，刚开始是准备采用Excel分类汇总的进行统计，后来还是导入mysql数据库汇总比较方便。一共抓取数据 36,603 条。

三、数据清理，构建数据源数据

数据清理包括：
1）数据汇总，汇总社交关系值weight

select aid as source,bid as target,count(bid) as weight  from bbs.link  group by aid,bid

2）手动清理页面中抓到的无效数据
3）对论坛管理员的数据检查，重命名（管理员没有进行编号）
4）对异常数据检查核对，发现有论坛中有人申请了重号，未对这部分数据一一校正，删除数据38条
5）数据导出CSV格式，共计 9,587 条 ，三列 source ,target, weight

部分数据

四、使用Gephi绘制社交网络关系图

Gephi介绍：Gephi是一款开源基于JVM的复杂网格分析软件，主要用于各种网络和复杂系统，动态和分层图的交互可视化工具。用于探索性数据分析，链接分析，社交网络分析，生物网络分析等。

1）导入数据
在Gephi的“数据资料” -- “输入电子表格”，进行数据导入。
注意导入数据后，要复制数据ID列 到 Label列，Label才会显示到Gephi图形的节点标签上。

导入CSV数据

2）调整Gephi的参数，生成网络关系图

全图 局部图

2016年很快就过去了，这一年你记录了哪些，有哪些进步，又连接了哪些人，欢迎在评论中留言分享。