在线大数据表增加属性

2017-09-09  本文已影响0人  上海马超23

仅增加少量公共属性

由于是大数据高并发场景,alter方式和关联查询不适用。

  1. 提前预留字段
  2. 增加扩展表,service层屏蔽访问数据库的细节(应该是2次访问,禁止join)。
  3. 增加大字段,如果有索引需求可以使用MongoDB
  4. 业内成熟的扩展列方案:新表+触发器+迁移数据+rename
    4.1 先创建一个扩充字段的新表newTable
    4.2 在原表oldTable上创建三个触发器,分别对应insert、delete和update操作,都会对新表进行同步操作。(触发器的建立会影响原表性能,建议在流量低谷时候做)
    4.3 人工分批将原表的数据insert迁移到新表
    4.4 删除触发器,逻辑或物理删除原表;新表newTable重命名成oldTable(删除旧表和重命名新表是一个原子操作,旧表上会先加锁,新表重命名成旧表后写操作才可以继续执行。)

海量属性,且存在每个类目独有属性

异构数据统一方案:category + extension,不同的category 存储不同格式的extension。

  1. extension里的key命名使用数字id,用字符串占据大量空间,id的解释统一存储在单独字典表里。
  2. category的层级关系也统一存储在单独表里。
上一篇下一篇

猜你喜欢

热点阅读