使用Neo4j+InteractiveGraph实现豆瓣电影知识

2020-04-21  本文已影响0人  中科院_白乔

转载自https://www.jianshu.com/p/4c0f798e16b7

image

0.介绍

本文基于豆瓣电影数据构建了一个电影知识图谱。其中包括电影、演员、导演三种节点及相关关系。并使用InteractiveGraph对图谱完成可视化工作。

所用到的程序包括：

1.数据处理

该数据来自openKG(http://www.openkg.cn/dataset/douban-movie-kg)，抽取自豆瓣电影。示例数据如下，包括电影的标题、封面、分类、语言基本信息以及导演、编剧和主演等人员信息。

image 
{
  "id": 1292052, 
  "title": "肖申克的救赎",
  "url": "http://movie.douban.com/subject/1292052/", 
  "cover": "http://img3.douban.com/view/movie_poster_cover/lpst/public/p480747492.jpg", 
  "rate": 9.6, 
  "director": ["弗兰克·德拉邦特"],
  "composer": ["弗兰克·德拉邦特", "斯蒂芬·金"], 
  "actor": ["蒂姆·罗宾斯", "摩根·弗里曼", "鲍勃·冈顿", "威廉姆·赛德勒",  "克兰西·布朗", "吉尔·贝罗斯", "马克·罗斯顿", "詹姆斯·惠特摩", "杰弗里·德曼", "拉里·布兰登伯格", "尼尔·吉恩托利", "布赖恩·利比", "大卫·普罗瓦尔", "约瑟夫·劳格诺", "祖德·塞克利拉"], 
  "category": ["剧情", "犯罪"], 
  "district": ["United States of America_美国"], 
  "language": ["英语"], 
  "showtime": 1994.0, 
  "length": 142.0, 
  "othername": ["月黑高飞(港)", "刺激1995(台)", "地狱诺言", "铁窗岁月", "消香克的救赎"]
 }

数据集为JSON格式，在导入Neo4j之前还需要做一些处理。
首先使用Pandas读入数据集：

import pandas as pd
import numpy as np
# 读入数据集
data = pd.read_json('data/dbmovies.json', dtype=object)

由于最终构建的图谱包含电影和人这两类节点，因此需要将人物信息从电影信息中抽取出来。观察数据集可以发现，人物信息出现在主演、导演和编剧这三个字段中，所以需要将这三类信息转换成边信息并合并出人员节点数据。

以演员为例，首先把原数据中actor中的演员集合转换成包含<电影id，演员姓名>这两列的DataFrame，然后导出为CSV文件作为边数据。导出为CSV是因为方便Neo4j导入。

有了边数据之后，将这三类人物提取到一列并做去重。这里忽略了演员之间同名的问题，姑且认为同名的人是同一个人。同样的，把合并的数据也转换成CSV格式作为人员节点数据。

person = pd.DataFrame()
labels = ['actor', 'director', 'composer']
for label in labels:
    df = data[['id', label]]
    df = df.dropna(axis=0, how='any')
    df = pd.DataFrame({'id': df['id'].repeat(df[label].str.len()),
                       label: np.concatenate(df[label].values)})
    person = pd.concat([person, df[label]], axis=0)
    df.to_csv('data/'+label+'.csv', index=False)

person.drop_duplicates(inplace=True, ignore_index=True)
person.to_csv('data/person.csv', index=False)

对人员信息处理完之后，需要对电影信息做处理。这里主要是把像电影语言这样的数组信息转换成字符串。同样的也要导出到CSV作为电影节点文件。

data.drop(labels, axis=1, inplace=True)
list_labels = ['category', 'district', 'language', 'othername']
for list_label in list_labels:
    data[list_label] =  data[list_label].apply(lambda x: '、'.join(x) if x!=None else x)
data.to_csv('data/movie.csv', index=False)

2.导入数据

下面开始导入数据到Neo4j中。首先把所有导出的CSV文件拷贝到Neo4j安装目录下的import目录中，并启动Neo4j。
使用如下Cypher导入电影节点数据。需要注意的是对评分、上映年份、时长这些数值类数据做处理，否则这些字段的数据自动作为字符串，无法计算。

USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM 'file:///movie.csv' AS line
CREATE (:Movie{
  id: line.id,
  name: line.title,
  url: line.url,
  image: line.cover,
  rate: toFloat(line.rate),
  category: line.category,
  district: line.district,
  language: line.language,
  showtime: toInteger(line.showtime),
  length: toInteger(line.length),
  othername: line.othername
})

导入人物数据：

USING PERIODIC COMMIT 500
LOAD CSV FROM 'file:///person.csv' AS line
CREATE (:Person{name:line[0]})

在创建关系之前，需要对节点字段做索引，这样能加快创建关系节点查找的速度。

CREATE INDEX ON :Movie(id)
CREATE INDEX ON :Movie(name)
CREATE INDEX ON :Person(name)

创建三种关系，分别是(人物)-[:饰演]->(电影)，(人物)-[:导演]->(电影)和(人物)-[:编剧]->(电影)。

USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM 'file:///actor.csv' AS line
MATCH (p:Person) where p.name = line.actor WITH p,line
MATCH (m:Movie) where m.id = line.id 
MERGE (p)-[:play]->(m)


USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM 'file:///director.csv' AS line
MATCH (p:Person) where p.name = line.director WITH p,line
MATCH (m:Movie) where m.id = line.id 
MERGE (p)-[:direct]->(m)


USING PERIODIC COMMIT 500
LOAD CSV WITH HEADERS FROM 'file:///composer.csv' AS line
MATCH (p:Person) where p.name = line.composer WITH p,line
MATCH (m:Movie) where m.id = line.id 
MERGE (p)-[:write]->(m)

这一步对人物做了一个打分计算，把人物参与的(可以是参演、编剧或导演)电影评分的均值作为人物的评分。

match (p:Person)-[]-(m:Movie) with p,avg(m.rate)*10 as avg
set p.rate = round(avg)/10

3.配置可视化系统

本文使用的知识图谱可视化系统包括两个部分：InteractiveGraph和InteractiveGraph-neo4j，前者为可视化系统的Web前端部分，负责显示和交互；后者为可视化系统的后端部分，负责管理数据以及提供各种数据访问接口。

InteractiveGraph-neo4j安装与配置

下载与部署

首先从github下载最新的发行版war包：https://github.com/grapheco/InteractiveGraph-neo4j/releases
将下载完成的war包放到Tomcat的webapps目录中，tomcat会自动解压war包生成graphserver文件夹（如果没有自动解压可以尝试重启Tomcat）。

修改配置文件

修改配置文件graphserver/WEB_INF/conf1.properties：

allowOrigin=*
backendType=neo4j-bolt
neo4j.boltUrl=bolt://localhost:7687
neo4j.boltUser=neo4j
neo4j.boltPassword=1
neo4j.regexpSearchFields=name
neo4j.strictSearchFields=label:name
neo4j.nodeCategories=Person:人物,Movie:电影
layout_on_startup=false
visNodeProperty.label==$prop.name
visNodeProperty.value==$prop.rate
visNodeProperty.image==$prop.image
visNodeProperty.x    ==$prop.x
visNodeProperty.y    ==$prop.y
visNodeProperty.info=<p align=center> #if($prop.image) <img width=150 src="${prop.image}"><br> #end <b>${prop.name}</b></p><p align=left><ul><li>评分:${node.rate}</li><li>类型:${node.category}</li><li>时长:${node.length}分钟</li><li>语言:${node.language}</li></ul></p>

其中：

<p align=center>
#if($prop.image) 
  <img width=150 src="${prop.image}"><br> 
#end 
  <b>${prop.name}</b>
</p>
<p align=left>
  <ul>
    <li>评分:${node.rate}</li>
    <li>类型:${node.category}</li>
    <li>时长:${node.length}分钟</li>
    <li>语言:${node.language}</li>
  </ul>
</p>
image

配置完成后，重启Tomcat。然后浏览器打开http://localhost:8080/graphserver/如果能看到字说明服务端配置成功。

InteractiveGraph安装与配置

下载与部署

首先从github下载最新的发行版：
https://github.com/grapheco/InteractiveGraph/releases
igraph.zip包含InteractiveGraph的js文件，可以结合项目README的流程自行使用。
本文直接下载了examples.zip中的示例内容，在其上做了适当修改。
首先在tomcat的webapps目录中新建igraph文件夹，并将examples.zip中的内容解压到这个文件夹中。
InteractiveGraph工具包括三个应用：

上述3个应用分别在example1.html，example2.html和example3.html。接下来需要修改其中的内容。

修改配置

打开example1.html，将js中app.loadGson修改为：

igraph.i18n.setLanguage("chs");
var app = new igraph.GraphNavigator(document.getElementById('graphArea'), 'LIGHT');
//修改了这下面↓，上面不要改
app.connect("http://localhost:8080/graphserver/connector-bolt");

这里的localhost:8080为graphserver的地址。
同理，对example2.html和example3.html也做上述修改。

igraph.i18n.setLanguage("chs");
var app = new igraph.GraphExplorer(document.getElementById('graphArea'));
//修改了这下面↓，上面不要改
app.connect("http://localhost:8080/graphserver/connector-bolt");


igraph.i18n.setLanguage("chs");
var app = new igraph.RelFinder(document.getElementById('graphArea'));
//修改了这下面↓，上面不要改                
app.connect("http://localhost:8080/graphserver/connector-bolt");

4.可视化展示

图导航器

浏览器打开http://localhost:8080/igraph/example1.html进入图导航器可视化界面，如图：（由于数据集中的图片链接现在已被豆瓣更改，很多节点的图片无法显示）

image

可以拖动显示区域浏览全局大图。

图浏览器

浏览器打开http://localhost:8080/igraph/example2.html进入图浏览器可视化界面。
在搜索框中输入Movie:无间道，结果如图。

image

点击“无间道”，可以看到电影《无间道》对应的节点。

image

在图浏览器中，单击节点可以查看节点信息，双击可以展开节点。

image

关系查找器

浏览器打开http://localhost:8080/igraph/example3.html进入关系查找器可视化界面。在右侧输入起始节点Person:古天乐和结束节点Person:张家辉并选中搜索出的人物，设定最大路径长度为4，搜索路径，结果如图所示。共有20条路径，点击右侧路径列表可以对这条路径高亮显示。

image

作者：川大宝
链接：https://www.jianshu.com/p/4c0f798e16b7
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

上一篇 下一篇

猜你喜欢

热点阅读