Android疑难杂症JavaAndroid开发

FastKV：一个真的很快的KV存储组件

2021-10-13  本文已影响0人  呼啸长风

注：文章首次发布后有修改，有些修改未及同步。
最新版本请移步至：https://juejin.cn/post/7018522454171582500

一、前言

KV存储无论对于客户端还是服务端都是重要的构件。
对于Android客户端而言，最常见的莫过于SDK提供的SharePreferences(以下简称SP)，但其低效率和ANR问题饱受诟病。
官方后来又推出了基于Kotlin的DataStore，不过测试下来发现写入效率很低。
微信开源了MMKV，写入速度比前者高不少，但是读取相对较慢，同时也存在其他一些缺点。

1.1 SP的不足

关于SP的缺点网上有不少讨论，这里主要提两个点：

public void apply() {
    // ...省略无关代码...
    QueuedWork.addFinisher(awaitCommit);
    Runnable postWriteRunnable = new Runnable() {
        @Override
        public void run() {
            awaitCommit.run();
            QueuedWork.removeFinisher(awaitCommit);
        }
    };
    SharedPreferencesImpl.this.enqueueDiskWrite(mcr, postWriteRunnable);
}

public void handleStopActivity(IBinder token, boolean show, int configChanges,
                               PendingTransactionActions pendingActions, boolean finalStateRequest, String reason) {
    // ...省略无关代码...
    // Make sure any pending writes are now committed.
    if (!r.isPreHoneycomb()) {
        QueuedWork.waitToFinish();
    }
}

Activity stop时会等待SP的写入任务，如果SP的写入任务多且执行慢的话，可能会阻塞主线程较长时间，轻则卡顿，重则ANR。

1.2 MMKV的不足

这个表述对一半不对一半。
如果数据完成写入到内存块，如果系统不崩溃，即使进程崩溃，系统也会将buffer刷入磁盘；
但是如果在刷入磁盘之前发生系统崩溃或者断电等，数据就丢失了，不过这种情况发生的概率不大；
另一种情况是数据写一半的时候进程崩溃或者被杀死，然后系统会将已写入的部分刷入磁盘，再次打开时文件可能就不完整了。
例如，MMKV在剩余空间不足时会回收无效的空间，如果这期间进程中断，数据可能会不完整。
MMKV官方的说明可以佐证：

CRC校验失败之后，MMKV有两种应对策略：直接丢弃所有数据，或者尝试读取数据（用户可以在初始化时设定）。
尝试读取数据不一定能恢复数据，甚至可能会读到一些错误的数据，得看运气。

这个过程是比较容易复现的，下面是其中一种复现路径：

  1. 新增和删除若干key-value
    得到数据如下：

  1. 插入一个大字符串，触发扩容，扩容前会触发垃圾回收

  2. 断点打在执行memmove的循环中，执行一部分memmove, 然后在手机上杀死进程


  3. 再次打开APP，数据丢失

相比之下，SP虽然低效，但至少有相应的机制确保数据完整性，顶多可能会丢失最新的update；
而MMKV则有可能会丢失整个文件的数据。

二、FastKV

在总结了之前的经验和感悟之后，笔者实现了一个高效且可靠的版本，且将其命名为: FastKV。

2.1 特性

FastKV有以下特性：

  1. 读写速度快
    • FastKV采用二进制编码，编码后的体积相对XML等文本编码要小很多。
    • 增量编码：FastKV记录了各个key-value相对文件的偏移量，更新数据时，可以直接在对应的位置写入数据。
    • 默认用mmap的方式记录数据，更新数据时直接写入到内存即可，没有IO阻塞。
  2. 支持多种写入模式
    • 除了mmap这种非阻塞的写入方式，FastKV也支持常规的阻塞式写入方式，
      并且支持同步阻塞和异步阻塞（分别类似于SharePreferences的commit和apply)。
  3. 支持多种类型
    • 支持常用的boolean/int/float/long/double/String等基础类型。
    • 支持ByteArray (byte[])。
    • 支持存储自定义对象。
    • 内置Set<String>的编码器 (为了方便兼容SharePreferences)。
  4. 支持多进程
    • 项目提供了支持多进程的存储类（MPFastKV)。
    • 支持监听文件内容变化，其中一个进程修改文件，所有进程皆可感知。
  5. 方便易用
    • FastKV提供了了丰富的API接口，开箱即用。
    • 提供的接口其中包括getAll()和putAll()方法，
      所以迁移SharePreferences等框架的数据到FastKV很方便，当然，迁移FastKV的数据到其他框架也很方便。
  6. 稳定可靠
    • 通过double-write等方法确保数据的完整性。
    • 在API抛IO异常时自动降级处理。
  7. 代码精简
    • FastKV由纯Java实现，编译成jar包后体积只有几十K。

2.2 实现原理

2.2.1 编码

文件的布局：

[data_len | checksum | key-value | key-value｜....]

key-value的数据布局：

+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
| delete_flag | external_flag | type  | key_len | key_content |  value  |
+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
|     1bit    |      1bit     | 6bits |  1 byte |             |         |

2.2.2 存储

2.3 使用方法

2.3.1 导入

FastKV 已发布到Maven中央仓库，分别发布了两个版本，按需添加依赖即可。

其中一个包含封装了SharePreferences接口和支持多进程：

dependencies {
    implementation 'io.github.billywei01:fastkv:1.1.2'
}

另一个不包含Android SDK, 可在Java环境下调用，不支持多进程：

dependencies {
    implementation 'io.github.billywei01:fastkv-java:1.1.0'
}

2.3.2 初始化

    FastKVConfig.setLogger(FastKVLogger)
    FastKVConfig.setExecutor(ChannelExecutorService(4))

初始化可以按需设置日志回调和Executor。
建议传入自己的线程池，以复用线程。

日志接口提供三个级别的回调，按需实现即可。

    public interface Logger {
        void i(String name, String message);

        void w(String name, Exception e);

        void e(String name, Exception e);
    }

2.3.3 数据读写

    FastKV kv = new FastKV.Builder(path, name).build();
    if(!kv.getBoolean("flag")){
        kv.putBoolean("flag" , true);
    }

    FastKV.Encoder<?>[] encoders = new FastKV.Encoder[]{LongListEncoder.INSTANCE};
    FastKV kv = new FastKV.Builder(path, name).encoder(encoders).build();
        
    String objectKey = "long_list";
    List<Long> list = new ArrayList<>();
    list.add(100L);
    list.add(200L);
    list.add(300L);
    kv.putObject(objectKey, list, LongListEncoder.INSTANCE);

    List<Long> list2 = kv.getObject("long_list");

除了支持基本类型外，FastKV还会支持写入对象，只需在构建FastKV实例时传入对象的编码器即可。
编码器为实现FastKV.Encoder的对象。
比如上面的LongListEncoder的实现如下：

public class LongListEncoder implements FastKV.Encoder<List<Long>> {
    public static final LongListEncoder INSTANCE = new LongListEncoder();

    @Override
    public String tag() {
        return "LongList";
    }

    @Override
    public byte[] encode(List<Long> obj) {
        return new PackEncoder().putLongList(0, obj).getBytes();
    }

    @Override
    public List<Long> decode(byte[] bytes, int offset, int length) {
        PackDecoder decoder = PackDecoder.newInstance(bytes, offset, length);
        List<Long> list = decoder.getLongList(0);
        decoder.recycle();
        return (list != null) ? list : new ArrayList<>();
    }
}

编码对象涉及序列化/反序列化。
这里推荐笔者的另外一个框架：https://github.com/BillyWei01/Packable

2.3.4 For Android

此项目提供了几个API：

更多具体的用法可下载项目运行一下。

三、 性能测试

测试结果：

写入(ms) 读取(ms)
SharePreferences 1182 2
DataStore 33277 2
MMKV 29 10
FastKV 19 1

四、结语

本文探讨了当下Android平台的各类KV存储方式，提出并实现了一种新的存储组件，着重解决了KV存储的效率和数据可靠性问题。
目前代码已上传Github: https://github.com/BillyWei01/FastKV

上一篇 下一篇

猜你喜欢

热点阅读