在线大数据表增加属性
2017-09-09 本文已影响0人
上海马超23
仅增加少量公共属性
由于是大数据高并发场景,alter方式和关联查询不适用。
- 提前预留字段
- 增加扩展表,service层屏蔽访问数据库的细节(应该是2次访问,禁止join)。
- 增加大字段,如果有索引需求可以使用MongoDB
- 业内成熟的扩展列方案:新表+触发器+迁移数据+rename
4.1 先创建一个扩充字段的新表newTable
4.2 在原表oldTable上创建三个触发器,分别对应insert、delete和update操作,都会对新表进行同步操作。(触发器的建立会影响原表性能,建议在流量低谷时候做)
4.3 人工分批将原表的数据insert迁移到新表
4.4 删除触发器,逻辑或物理删除原表;新表newTable重命名成oldTable(删除旧表和重命名新表是一个原子操作,旧表上会先加锁,新表重命名成旧表后写操作才可以继续执行。)
海量属性,且存在每个类目独有属性
异构数据统一方案:category + extension,不同的category 存储不同格式的extension。
- extension里的key命名使用数字id,用字符串占据大量空间,id的解释统一存储在单独字典表里。
- category的层级关系也统一存储在单独表里。