python之路大数据 爬虫Python AI Sql

sql-结构化查询语言

2019-04-07  本文已影响19人  彩色系

试想有这么一个需求

用常见的命令式语言来做这个需求是这样的

def get_salary(s, table):
    res = []
    for k in table:
        if k.salary == s:
            res.append(k)
    return res
select * from table where salary=s;

区别主要是因为python属于命令式语言,sql算声明式的,对于命令式语言来说要做一个事情,这个事情怎么做,这个过程要来自己写,而对
于声明式语言来说重点是关注这个结果。xpath也是这样的。这也是为什么声明式语言更适合于并行计算(主要是因为这类语言抽象掉了过程细节)

再来看这么一条稍微复杂点的sql
假设有这么一个job表,里面主要有这么几个字段

title, city, companyid,salary

查找某个城市,岗位数大于300的公司名&职位数,倒叙排列
写出来的sql语句大概如下:

select xx, count(xx)
from xx_table
where constraint_expression
group by column
having constraint_expression
order by column

来看下这个语句是如何执行的

1. 首先要找到这个表,所以from后面的要先执行(如果有join之类的操作也在第一步执行)
2. 找到相应的表后就要根据条件对数据进行过滤了
3. 下一步是对数据按照sql中定义的字段进行group分组
4. 对分组的数据进行一次过滤
5. 将select需要的字段取出来
6. 对结果进行排序

来手写一个执行sql语句的程序

从最简单的开始

select * from table;
from collections import namedtuple

def create_table(row, data):
    """
    row[0] 表名  row[1:] 列名 data 要插入的数据
    :param row: ['Job', 'salary', 'name', 'city']
    :param data: [[100, dev, cz]]
    :return:
    """
    table_row = namedtuple(row[0], row[1:])
    table = [table_row(*i) for i in data]
    return table
def select(name, table):
    """
    :param name: 需要选的字段
    :param table: 表对象
    :return:
    """
    res = []
    if name == '*':
        name = table[0]._fields
    else:
        name = name.split(',')
    for t in table:
        res.append([getattr(t, n) for n in name])
    return res

添加最常用的 where子句

select * from table where city='changzhi';
def pfilter(row, condition):
    if condition:
        return eval(condition, {field: getattr(row, field) for field in row._fields})
    else:
        return True

按照公司名进行分组

select companyid,count(title) from table where city='changzhi' group by companyid;

主要依靠俩函数,一个用来分组,一个用来返回结果

def get_group(data, field):
    """
    将data按照field分组
    :param data:
    :param field:
    :return:
    """
    res = defaultdict(list)
    for d in data:
        res[getattr(d, field)].append(d)
    return res

def get_group_data(groupdata,fds, groupby):
    pass

更进一步,添加一个构建表的对象

class Table:
    pass

调用此对象,输出为人眼容易看的

Table:  Job
title   salary   city   companyid
pydev    12    beijing    15
c++dev    12    beijing    15

一些测试

select companyid,title from job where city=='beijing'
Table:  Job
companyid   title
15    pydev
15    c++dev
15    cdev

select companyid,sum(salary) from job where city=='beijing' groupby companyid
Table:  Job
companyid   sum_salary
15    36

select companyid,count(title) from job where city=='beijing' groupby companyid
Table:  Job
companyid   count_title
15    3

代码在这里
https://github.com/zhao94254/train/blob/master/sql.py
个人博客
https://www.97up.cn

上一篇下一篇

猜你喜欢

热点阅读