小白谈分布式数据库设计2——存储模块设计

存储模块

我们将存储模块分为内存存储和磁盘存储。借鉴Hbase和Cassandra的设计思想,我们先对操作写日志（CommitLog),然后将写入的数据先存储到内存中的某个结构中（Memtable),当满足一定的条件时（大小时间等限制）,将Memtable按照我们定义的格式写入SSTable.这里主要是借鉴Cassandra的存储结构,仍然以行为单位进行存储.Hbase的列存储,每一个单独的cell都存储了大量重复的字段,如果表的列设计过多,会浪费大量的存储.我们先做大量的接口设计
对于内存中的数据，我们需要先设计两个功能型接口，HeapSize和Snapshot。功能型接口，就是一看接口名就知道他的功能是什么，顾名思义，HeapSize就是获取当前对象占用内存，Snapshot就是获取一个快照，类似于深度克隆。

public interface HeapSize {
    long heapSize();
}

public interface Snapshot<T> {
    T snapshot();
}

列单元Colum设计

最底层存储单元,我们设计IColumn接口,方法暂定为获取ColumnName,ColumnValue,Timestamp,Type(插入,删除);

public interface IColumn extends Comparable<IColumn>{
     byte[] getColumnName();
     byte[] getColumnValue();
     long getTimestamp();

    Type getType();

    enum Type {
        Put((byte) 4),

        Delete((byte) 8),

        DeleteColumnFamily((byte) 12);

        private final byte code;

        Type(final byte c) {
            this.code = c;
        }

        public byte getCode() {
            return this.code;
        }
    }
}

Rowkey设计

至于Rowkey的设计，暂时还没有考虑完善，暂且定位一个获取key值的接口。

public interface Rowkey extends Comparable<Rowkey>{
    byte[] getKey();
}

ColumFamily设计

ColumnFamily,代表一列数据,数据结构采用ConcurrentSkipListMap<String, IColumn>;

public interface IColumnFamily extends HeapSize{
    void add(String key, IColumn column);
    IColumn get(String key);
    Map<String, IColumn> getFamily();
}

Memtable设计

每个表在内存中的数据用Memtable表示，简单表示就是Map<Rowkey, ColumnFamily>;
这里需要注意的一点是，Memtable在写磁盘的时候，真是写入的数据是Memtable的副本。读写要如何进行。这里我们的策略是写入到新的Mentable中，读取数据可以到Mentable中读取，但是不能修改。
达到一定条件，使用特定的线程池来写磁盘；

public class Memtable implements HeapSize, Snapshot<Memtable> {
    private NavigableMap<Rowkey, IColumnFamily> memtable = new ConcurrentSkipListMap<>();

    private volatile boolean flush;
    private transient long heapSize;
    
    private SSTableWirter<Memtable> ssTableWirter;

    public Memtable(NavigableMap<Rowkey, IColumnFamily> memtable) {
        this.memtable = memtable;
    }

    public void add(Rowkey rowKey, IColumn column){
        if(flush) return;
        IColumnFamily old = memtable.get(rowKey);
        if(old == null) {
            IColumnFamily newFamily = new ColumnFamily();
            newFamily.add(new String(column.getColumnName()), column);
            memtable.put(rowKey, newFamily);
        }else {
            old.add(new String(column.getColumnName()), column);
        }
    }

    public long getHeapSize() {
        return heapSize;
    }

    public IColumnFamily getFamily(Rowkey rowKey){
        return memtable.get(rowKey);
    }

    public NavigableMap<Rowkey, IColumnFamily> getMemtable() {
        return memtable;
    }

    /**
     * if ready to flush to disk
     * @return
     */
    private boolean checkFlush() {
        return heapSize > 111;
    }

    private void flushToDisk(){
        Memtable snapshot = snapshot();
        flush = true;
        Constant.SERVICE.submit(new Runnable() {
            @Override
            public void run() {
                ssTableWirter.write(snapshot);
            }
        });
    }

    @Override
    public long heapSize() {
        return heapSize;
    }


    @Override
    public Memtable snapshot() {
        NavigableMap<Rowkey, IColumnFamily> readOnly = new ConcurrentSkipListMap<>(memtable);
        return new Memtable(readOnly);
    }

}

磁盘存储SSTable

SSTable的读写，这里使用装饰模式。IFileReader和IFileWriter包装IFile,SSTableReader和SSTableWriter又包装IFileReader和IFileWriter。SSTable中保存相应的SSTableReader和索引,来快速完成数据读取
SSTable的写入与读取我们暂时只设计了接口，省去了具体的细节，比如文件的组织形式是B+Tree,而这样一整套内存和B+Tree的存储机制又称为LSM Tree。这些细节的代码，可以留着以后完成。并且上述所有的设计以及代码的细节都有很大的优化空间，不是可以一蹴而就的工作。

public class SSTable {
    private IndexBlock indexBlock;
    private SSTableReader<IColumnFamily> tableReader;
    private volatile boolean isWritable;

    private String getTableName(){
        return null;
    }
    public IColumnFamily getFamily(Rowkey rowkey){
        return null;
    }
}

SSTableWriter

public interface SSTableWirter<T> {
    void write(T t);
}

SSTableReader

public interface SSTableReader<T> {
    T read(long start, long size);
}