大数据 爬虫Python AI Sql

数据分析实例 USDA 数据

2018-09-11  本文已影响1人  贾磊_cd

观察,检验基本的数据。并将USDA的数据整合到一张大表中,方便后面的切块,聚合,图形化等工作

1. 观察并检验数据, 数据集一般都很多大,我们要先观察和检验一小部分数据,总结规律

db[0].keys()  // 查看输入的json的所有keys
db[0]['nutrients'][0]  // 查看第一条数据的nutrients字段的第一个值
pd.DataFrame(db[0]['nutrients'])[:7] //查看第一条数据的nutrients字段的前7个值

2. 将数据读入

nutrients = []
for rec in db:
    fnuts = pd.DataFrame(rec['nutrients'])
    fnuts['id'] = rec['id']
    nutrients.append(fnuts)
    nutrients = pd.concat(nutrients, ignore_index=True) // 将所有创建的DataFrame concat到一起生成一个大的DataFrame

这里要注意去重

nutrients = nutrients.drop_duplicates()

3 将数据合并

合并之前要重命名每个DataFrame的列名,因为之前有重复列名

col_mapping = {
'description': 'food',
'group': 'fgroup'
}
info = info.rename(columns=col_mapping, copy=False)

合并

ndata = pd.merge(nutrients, info, on='id', how='outer')

最终ndata就是一张我们可以后面作操作的大表了

上一篇下一篇

猜你喜欢

热点阅读