如何设计一个日志系统
2022-11-09 本文已影响0人
踏云小子
提高本地日志文件的读取效率
如何统计读取时间
mach_absolute_time()函数
mach_absolute_time是一个CPU/总线依赖函数，返回一个基于系统启动后的时钟”嘀嗒”数
CGFloat timeCalculate (void(^block)(void)){
mach_timebase_info_data_t info;
if (mach_timebase_info(&info) != KERN_SUCCESS) return -1.0;
uint64_t start = mach_absolute_time();
if (block) {
block();
}
uint64_t end = mach_absolute_time();
uint64_t delta = end - start;
uint64_t nanos = delta * info.numer / info.denom;
return (CGFloat)nanos/NSEC_PER_SEC;
}
读取文件方式
- 写文件在本地沙盒
优点：不易丢失
缺点：频繁调用系统内核API，读取速度慢，IO消耗大，耗电增大
平常我们读取磁盘上的一个文件，上层API调用到最后会使用系统方法read()读取数据，内核把磁盘数据读入内核缓冲区，用户再从内核缓冲区读取数据复制到用户内存空间，这里有一次内存拷贝的时间消耗，并且读取后整个文件数据就已经存在于用户内存中，占用了进程的内存空间
- 将文件写在内存缓存里，合适时候再写入沙盒
优点：读取速度快
缺点：容易丢失（app进程被杀掉）
- MMAP(内核地址空间映射到用户进程)
mmap 省掉了内核空间与用户进程空间的拷贝，数据直接写在内核空间中，内核按照一定的策略（LRU，时钟工作集，老化）把脏页面写回磁盘中。即使用户进程crash，被kill 也不会丢数据。
优点：写入速度几乎和内存访问速度一样，不会丢数据。
使用mmap还能保证日志的完整性，因为如下这些情况下回自动回写磁盘：
- 内存不足
- 进程 crash
- 调用 msync 或者 munmap
- 不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)
MMAP VS 从硬盘读取文件到内存
- 从硬盘读取文件到内存：需要先将数据拷贝到CPU高速缓冲区，再从高速缓冲区读取到进程的内存物理地址空间
- MMAP：省去将数据拷贝到CPU高速缓冲区，直接将文件内容的一部分或全部映射到进程的内存物理地址空间。mmap并不分配物理地址空间，它只是占有进程的虚拟地址空间，当发现pageFault,将磁盘数据直接映射到物理内存
Q
- 为什么使用了memcpy,不使用msync和munmap
- 为什么使用memcpy，会自动把内容同步到磁盘
- 什么是内核空间，脏页面是什么，数据直接写到内核空间里，内核空间会不会暴涨
