图数据Neo4j导论

2022-02-26  本文已影响0人  登高且赋

随着社交、电商、金融、零售、物联网等行业的快速发展，现实社会织起了了一张庞大而复杂的关系网，传统数据库很难处理关系运算。大数据行业需要处理的数据之间的关系随数据量呈几何级数增长，亟需一种支持海量复杂数据关系运算的数据库，图数据库 应运而生。

1. 图数据简介

1.1 何为图？

学过数据结构这么课程的同学脑海中应该或多或少有 图的概念。

形式上，图是顶点(Vertices)和边(Edge)的集合，用以表现节点间的接关联关系；

在图数据库的建模中用节点表示实体，用边表现关系。

image-20220223174338589

在我们的现实生活中，图表示的关系可以说是无处不在。 Gartner定义了商业世界中5个最重要的图——社交、意向、消费、兴趣和移动，并认为运用这些图的能力是一个项”可持续的竞争优势“

1.2 图数据库 GraphDB

图数据库(Graph database)并非指存储图片的数据库，而是以 图这种数据结构存储和查询数据。

图形数据库是一种在线数据库管理系统，具有处理图形数据模型的创建，读取，更新和删除（CRUD）操作。

与其他数据库不同，关系在图数据库中占首要地位。这意味着应用程序不必使用外键或带外处理（如MapReduce）来推断数据的关联关系。

与关系数据库或其他NoSQL数据库相比，图数据库的数据模型也更加简单，更具表现力。图形数据库是为与事务（OLTP）系统一起使用而构建的，并且在设计时考虑了事务完整性和操作可用性。

根据存储和处理模型不同，市面上图数据库也有一些区分。

1.2.1 图存储

一些图数据库使用 原生图存储，这类存储是经过优化的，并且是专门为了存储和管理图而设计的。并不是所有图数据库都是使用原生图存储，也有一些图数据库将图数据序列化，然后保存到关系型数据库或者面向对象数据库，或其他通用数据存储中。

1.2.2 图处理引擎

原生图处理（也称为 无索引邻接）是处理图数据的最有效方法，因为连接的节点在数据库中物理地指向彼此。非本机图处理使用其他方法来处理CRUD操作。

image-20220223183109256

比如：

1.3 应用场景

世界上很多著名的公司都在使用图数据库。比如：

2. 图数据 In NoSQL

NoSQL数据库大致可以分为四类，而图数据库正是其一，各种图数据库对比，请见下方图表。

img
分类 数据模型 优势 劣势 举例
键值数据库 哈希表 查找速度快 数据无结构化，通常只被当作字符串或者二进制数据 Redis
列存储数据库 列式数据存储 查找速度快；支持分布横向扩展；数据压缩率高 功能相对受限 HBase
文档型数据库 键值对扩展 数据结构要求不严格；表结构可变；不需要预先定义表结构 查询性能不高，缺乏统一的查询语法 MongoDB
图数据库 节点和关系组成的图 利用图结构相关算法(最短路径、节点度关系查找等) 可能需要对整个图做计算，不利于图数据分布存储 Neo4j

3. 图数据库 VS 关系型数据库

与关系型数据库和 NoSQL 数据库相比，定义良好的图数据库都有着明显优势。具体如下

4. 关系查询性能对比

在数据关系中心，图形数据库在查询速度方面非常高效，即使对于深度和复杂的查询也是如此。在《Neo4j in Action》这本书中，作者在关系型数据库
和图数据库(Neo4j)之间进行了实验。

img

他们的实验试图在一个社交网络里找到最大深度为5的朋友的朋友。他们的数据集包括100万人，每人约有50个朋友。实验结果如下：

深度 MySQL执行时间(s) Neo4J执行时间(s) 返回记录数
2 0.016 0.01 ~2500
3 30.267 0.168 ~110 000
4 1543.505 1.359 ~600 000
5 未完成 2.132 ~800 000

在深度为2时（即朋友的朋友），两种数据库性能相差不是很明显；深度为3时(即朋友的朋友的朋友)，很明显，关系型数据库的响应时间30s，已经变得不可接受了；深度到4时，关系数据库需要近半个小时才能返回结果，使其无法应用于在线系统；深度到5时，关系型数据库已经无法完成查询。而对于图数据库Neo4J，深度从3到5，其响应时间均在3秒以内。

可以看出，对于图数据库来说，数据量越大，越复杂的关联查询，约有利于体现其优势。从深度为4/5的查询结果我们可以看出，图数据库返回了整个社交网络一半以上的人数。

5. 主流数据图产品

根据DB-Engines最新发布的图数据库排名：

image-20211209182201724
  1. Neo4j 业界老大，行业标杆，江湖一哥；
  2. Nebula 异军突起，厚积薄发，当红新锐；

二者搜索热度对比： https://db-engines.com/en/system/Nebula+Graph%3BNeo4j

image-20211208100202813

具体特性对比：

image-20211209182704013

对比总结

  1. 性能与成本：Neo4j开源版本是单机的，最少2G内存就可以支持亿级别的数据；Nebula性能突出但是维护成本较高，很吃资源（测试环境需要至少8G内存才能启动）；
  2. 学习成本：Neo4j有专属查询语言“Cypher”，Nebula也有自己的“NQL”，二者都需要学习
  3. 开发成本：Neo4j和Spring紧密合作，对于Java生态支持的更好；Nebula 在这方面刚刚起步

6. Cypher查询语言

Cypher是Neo4j的图形查询语言，允许用户存储和检索图形数据库中的数据。

比如下面我们直接通过代码来对比下 MySQL 和 Neo4j 里面的查询，我相信即使不写任何注释，即使第一次接触 Neo4j 的人也能轻轻松松的看懂这些查询语句。

<!-- 1. 全表扫描 -->
<!-- mysql -->
SELECT p.*
FROM products as p;

<!-- neo4j -->
MATCH (p:Product)
RETURN p;


<!-- 2. 查询价格最贵的10个商品，只返回商品名字和单价 -->
<!-- mysql -->
SELECT p.ProductName, p.UnitPrice
FROM products as p
ORDER BY p.UnitPrice DESC
LIMIT 10;

<!-- neo4j -->
MATCH (p:Product)
RETURN p.productName, p.unitPrice
ORDER BY p.unitPrice DESC
LIMIT 10;


<!-- 3. 按照商品名字筛选 -->
<!-- mysql -->
SELECT p.ProductName, p.UnitPrice
FROM products AS p
WHERE p.ProductName = 'Chocolade';

<!-- neo4j -->
MATCH (p:Product)
WHERE p.productName = "Chocolade"
RETURN p.productName, p.unitPrice;

<!-- 其他的写法 -->
MATCH (p:Product {productName:"Chocolade"})
RETURN p.productName, p.unitPrice;

<!-- 4. 按照商品名字筛选2 -->
<!-- mysql -->
SELECT p.ProductName, p.UnitPrice
FROM products as p
WHERE p.ProductName IN ('Chocolade','Chai');

<!-- neo4j -->
MATCH (p:Product)
WHERE p.productName IN ['Chocolade','Chai']
RETURN p.productName, p.unitPrice;


<!-- 5. 模糊查询和数值过滤 -->
<!-- mysql -->
SELECT p.ProductName, p.UnitPrice
FROM products AS p
WHERE p.ProductName LIKE 'C%' AND p.UnitPrice > 100;

<!-- neo4j -->
MATCH (p:Product)
WHERE p.productName STARTS WITH "C" AND p.unitPrice > 100
RETURN p.productName, p.unitPrice;


<!-- 6. 多表联合查询-->
<!-- mysql -->
SELECT DISTINCT c.CompanyName
FROM customers AS c
JOIN orders AS o ON (c.CustomerID = o.CustomerID)
JOIN order_details AS od ON (o.OrderID = od.OrderID)
JOIN products AS p ON (od.ProductID = p.ProductID)
WHERE p.ProductName = 'Chocolade';

<!-- neo4j -->
MATCH (p:Product {productName:"Chocolade"})<-[:PRODUCT]-(:Order)<-[:PURCHASED]-(c:Customer)
RETURN distinct c.companyName;


<!-- 7.  -->
<!-- mysql -->
SELECT e.EmployeeID, count(*) AS Count
FROM Employee AS e
JOIN Order AS o ON (o.EmployeeID = e.EmployeeID)
GROUP BY e.EmployeeID
ORDER BY Count DESC LIMIT 10;

<!-- neo4j -->
MATCH (:Order)<-[:SOLD]-(e:Employee)
RETURN e.name, count(*) AS cnt
ORDER BY cnt DESC LIMIT 10

下面在看一些更为复杂的例子，我们要查找Joe的所以二度好友：

image 
MATCH
(person:Person)-[:KNOWS]-(friend:Person)-[:KNOWS]-
(foaf:Person)
WHERE
person.name = "Joe"
AND NOT (person)-[:KNOWS]-(foaf)
RETURN
foaf
// Joe认识Sally，Sally认识Anna。Bob被排除在结果之外，因为除了通过Sally成为二级朋友之外，他还是一级朋友。

图数据库会经常处理树形结构数据，必须要遍历Block树的最大深度

   match (n:Block)
   where (n)-[:OWN]->() and not ()-[:OWN]->(n) // 找到根节点
   match p = (n)-[:OWN*1..]->(m) //查询所有从根节点出发的路径
   return p, length(p) as L
   order by L desc // 找到路径长度最大的
   limit 1

或者是要从固定节点(aid = 1000)向上寻找到另一个节点（aid=10）的最短路径

match p = shortestPath( (e:block {aid:10000}) <-[*0..1000]- (r:block {aid:1}) ) 
return p;

更多cypher语法请阅读官方文档： Cypher语法

7. 总结

图数据库应对的是当今一个宏观的商业世界的大趋势：凭借高度关联、复杂的动态数据，获得洞察力和竞争优势。国内越来越多的公司开始进入图数据库领域，研发自己的图数据库系统。对于任何达到一定规模或价值的数据，图数据库都是呈现和查询这些关系数据的最好方式。而理解和分析这些图的能力将成为企业未来最核心的竞争力。

更多学习资料：

  1. 如何使用Neoj4建模
  2. Cypher语法
  3. 深度运算法 https://ramona-chen.top/2020/03/24/neo4j-cha-xun-duo-shen-du-guan-xi-jie-dian/
  4. Neo4j Java Driver https://neo4j.com/docs/developer-manual/current/drivers/get-started/
  5. Spring 实体映射关系 https://github.com/neo4j/neo4j-ogm
  6. 官方学习数据 https://neo4j.com/graphgists/
  7. 运维 Shell 脚本命令 https://neo4j.com/docs/operations-manual/4.3/tools/cypher-shell/
上一篇下一篇

猜你喜欢

热点阅读