图论应用-反查工具
今天这篇文章简单介绍，图论在风控中的反查应用。
在风控的日常工作中，经常遇到团伙作案，他们拥有比较多的设备、手机号码、银行卡等。我们通过一些列的反查识别策略，将这些团伙尽可能的抓住。
举个例子，抓到一个欺诈店铺A，我们就可以查找这个设备上使用过的店铺B；通过B查到C，C查到D。。。直至遍历所有店铺。
上图就是这个graph，注意，这应该是个无向图。
在业务中，我们经常通过写一段比较长的代码，查到共用同一设备的店铺，如下面的sql：
select distinct shop_id from pay_order_info d
where device_id in (
select distinct device_id from pay_order_info a
where shop_id = A
)
limit200
这个结果显示，只能通过A查到B，没法查到C和D。
要解决上面的问题，先利用networkx构建全图，然后从graph中查关联的nodes，示例如下(python)：
import networkx as nx
G = nx.Graph()
nodes = ['A','B','C','D','E']
edges = [('A','B'),('B','C'),('C','D')]
G.add_nodes_from(nodes)
G.add_edges_from(edges)
def git_antinodes(shop_id):
list = []
try:
list.append(shop_id)
for i in list:
for l in G.neighbors(i):
if l not in list:
list.append(l)
return list
except Exception, e:
return "Not in the graph"
def git_antilinks(shop_id):
antilinks = []
try:
G.neighbors(shop_id)
antilinks =[e for e in G.edges_iter(git_antinodes(shop_id))]
return antilinks
except Exception, e:
return "Not in the graph"
上面定义了两个函数
git_antinodes：获取关联的店铺
git_antilinks：获取链路
git_antinodes['A']
输出结果：['A', 'B', 'C', 'D']
git_antilinks['A']
输出结果：[('A', 'B'), ('B', 'C'), ('C', 'D')]
好了，上面示例满足基本需求，下面就要把所有的nodes和edges存储下来
这期我们这边的应用在B端，所以一个node是指的一个店铺，edge是共用设备的关系。数据存储在mysql上，nodes的设计和存储比较简单，不在赘述，下面简单说下edges的存储。
左边的存储会有大量的重复，因为A-B之间无指向关系，为了节约存储空间，我这边采用右边的存储方案，edges的伪代码。
for linen in datanode:
shop_id = linen[0]
batchSelect ="""
select shop_id,count(distinct shop_id) from risk_cashstore_links_mid d
where device_id in (
select distinct device_id from risk_cashstore_links_mid a
where shop_id = %d
)
group by shop_id
"""% (shop_id)
data = execute(batchSelect)
datalink = fetchmany(data)
listlink = []
batchInsertlink ='''
INSERT INTO cashstore_links (src, target, weight)
VALUES (%s, %s, %s)
ON DUPLICATE KEY UPDATE
target = VALUES(target),
weight = VALUES(weight);
'''
src = shop_id
print "src:%d"% (src)
for linel in datalink:
if linel[0] <= src:
continue
target = linel[0]
weight = linel[1]
ell = []
ell.append(src)
ell.append(target)
ell.append(weight)
listlink.append(ell)
try:
currcSta.executemany(batchInsertlink,listlink)
connrcSta.commit()
exceptMySQLdb.Error,e:
printstr(datetime.datetime.now()) +" Mysql Error %d: %s"% (e.args[0],e.args[1])
connrcSta.rollback()
这部分是用pyspark完成的。每天的定时任务，全量更新。
上面第二段已经讲过获取相关联的订单，下面就实现一个接口。这边我写了个post的接口，具体代码不讲了，直接上结果。
curl -d 'shop_id=19736647' http://0.0.0.0:5063/cash/cashstoreantishop/list
输出：{"msg": "ok", "code": 0, "data": {"nodes": [19736647, 19737903, 19745957, 20173401], "edges": [[19736647, 19737903], [19737903, 19745957], [19745957, 20173401]]}}(hadoop_env)
反查工具一期，基本完成了，二期就是可视化了，先去学习echarts了，see u next month！
