Data_DBLP-Journals_Python

2015-06-02 本文已影响500人计算士

本文用到的包

import re
import sys
from collections import defaultdict
import numpy as np
import pylab as plt
import matplotlib.cm as cm
import statsmodels.api as sm
from os import listdir
import json

本文使用了AMiner公布的DBLP计算机科学文献数据，基本分析思路与代码与Data_APS-Journals_Python一文一致。唯一的区别是数据格式有所不同，在数据中没有论文长度的信息，同时引文数据与论文基本信息也有许多没有匹配上，因此数据集较小，所有子领域加起来一共有近十三万论文和四十万引用记录。

读取数据：

path='/Users/csid/Documents/bigdata/DBLP_Citation_2014_May/domains/'
Q={}
Cdata=[]
C=defaultdict(lambda:[0,0]) #paper doi : (cite n papers, been cited by n papers)
for p in listdir(path):
    if p=='.DS_Store':
        continue
    flushPrint(p)
    paper={}
    c=[]
    with open(path+p,'rb') as f:
        for line in f:
            try:
                if len(line.split('#')) > 1:
                    c.append(line)
                else:
                    nAuthor = len(c[1].split(','))
                    year = digitalize(c[2])
                    doi = digitalize(c[4])
                    for i in c[5:]:
                        nc = digitalize(i)
                        if nc:
                            Cdata.append([doi,nc])
                            C[doi][0]+=1
                            C[nc][1]+=1
                    paper[doi]=[year,nAuthor]
                    c=[]
            except:
                pass
    Q[p]=paper

P=defaultdict(lambda:{})
for j in Q:
    for i in Q[j]:
        if i in C:
            P[j][i]=Q[j][i]+C[i]

接下来的各个分析，与对APS期刊的分析基本一致，因此不再展示代码。