使用 mmap 函数实现高效日志写入

一、前言

在性能敏感的场景中，传统的文件读写操作可能成为瓶颈。本文将通过 mmap 的高效内存映射特性，介绍如何构建一个高性能的日志系统，并详细拆解实现过程。

---

二. 为什么选择 mmap

问题背景

在日志写入场景中，频繁的 I/O 调用可能带来以下问题：

• 性能瓶颈：传统文件写入需要在用户态和内核态频繁切换，效率较低。
• 资源浪费：频繁打开、关闭文件或调整文件大小可能导致系统资源耗尽。

mmap 的优势

• 高效性：将文件映射到虚拟内存后，可以像操作普通内存一样访问文件内容，避免频繁 I/O 调用。
• 双向同步：内存和文件之间的内容修改会自动同步，省去了额外的写回操作。
• 固定大小：适用于需要固定大小日志文件的场景，控制存储空间使用。

适用场景包括：

• 高性能日志系统。
• 共享内存实现多进程间通信。
• 高速文件读写操作。

---

三. mmap 的核心概念

mmap 是 Linux 提供的系统调用，功能是将文件或设备映射到进程的虚拟地址空间中，核心作用包括：

• 虚拟地址到文件的映射：进程可以直接通过内存地址访问文件内容。
• 支持双向数据同步：修改虚拟地址空间中的数据会反映到文件中，反之亦然。

函数原型

void* mmap(void* addr, size_t length, int prot, int flags, int fd, off_t offset);

参数	含义
addr	指定映射的起始地址，通常传 nullptr 让系统选择。
length	映射的内存大小，必须为页大小的整数倍。
prot	映射内存的访问权限，如 PROT_READ 、 PROT_WRITE。
flags	映射类型，如 MAP_SHARED：映射的内存区域与文件共享，修改映射区域的内容会影响文件。
fd	文件描述符，指定映射到内存的文件。
offset	是映射开始位置在文件中的偏移。指定从文件开头偏移的字节数，表示映射区域在文件中的起始位置。该偏移必须是页面大小的整数倍，因为内存映射操作通常按页面（通常是4KB）对齐。

返回值为映射内存的起始地址，失败时返回 MAP_FAILED。

---

四. 日志系统的设计与实现逻辑

设计目标

• 固定大小日志文件：日志文件大小固定为 1MB，避免无限增长占用存储空间。
• 高效日志写入：利用 mmap 减少 I/O 调用，提升性能。
• 简单易用：提供写入和读取日志内容的基础功能。

实现步骤

以下是实现的核心步骤：

image.png

Step 1：打开文件

int fd = open("logfile.txt", O_RDWR | O_CREAT | O_TRUNC, 0666);

• 功能：打开或创建一个名为 logfile.txt 的日志文件。
• 参数解析：
  • O_RDWR：以读写模式打开文件。
  • O_CREAT：如果文件不存在，则创建。
  • O_TRUNC：如果文件已存在，清空文件内容。
• 权限：0666 表示所有用户可读写。

Step 2：调整文件大小

if (ftruncate(fd, LOG_SIZE) == -1) {
    perror("Error truncating file");
    close(fd);
    return -1;
}

• 功能：将文件大小调整为 LOG_SIZE（1MB）。
• 作用：为 mmap 分配固定大小的映射范围。
• 注意：文件大小不足时会填充空字节，超出时会截断。

Step 3：映射文件到内存

char* mapped = (char*)mmap(nullptr, LOG_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (mapped == MAP_FAILED) {
    perror("Error mapping file");
    close(fd);
    return -1;
}

• 功能：将文件映射到虚拟内存地址。
• 关键参数：
  • PROT_READ | PROT_WRITE：支持读写权限。
  • MAP_SHARED：允许进程间共享映射。
  • fd 和 0：指定映射的文件和偏移。
  • 返回值：成功返回映射地址，失败返回 MAP_FAILED。

Step 4：写入日志内容

void write_log(char* mapped, const char* log_msg, size_t offset) {
    if (offset < LOG_SIZE) {
        strcpy(mapped + offset, log_msg);
    } else {
        std::cerr << "Offset exceeds log size!" << std::endl;
    }
}

• 功能：将日志内容写入映射的内存区域。
• 参数：
  • mapped是指向已映射到内存的文件内容的指针。
  • log_msg是要写入日志的字符串。
  • offset是要写入日志的起始位置。
• 逻辑：
  这个strcpy是字符串复制函数，用于将log_msg（源字符串）复制到mapped + offset（目标位置）。
  由于内存映射是通过mmap将文件内容加载到内存中，mapped是指向文件内容的指针。通过mapped + offset来指定在内存中的哪个位置开始写入数据。
  需要确保offset不超过映射的大小（LOG_SIZE），否则可能会导致越界写入，造成不可预知的错误。

步骤 5：读取日志内容

void read_log(char* mapped) {
    std::cout << "Log content: " << std::endl;
    std::cout << mapped << std::endl;
}

• 功能：从映射内存中读取日志内容。
• 逻辑：直接访问映射的内存，读取日志内容并打印。

步骤 6：取消映射与资源释放

if (munmap(mapped, LOG_SIZE) == -1) {
    perror("Error unmapping file");
}
close(fd);

• 功能：释放映射的内存区域和文件资源。
  • munmap 取消映射，进程在映射空间对共享内容的改变并不直接写回到磁盘文件中。
  • close 关闭文件描述符，释放系统资源。

---

4. 完整代码示例

以下是完整实现：

#include <jni.h>
#include <string>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
#include <cstring>
#include <iostream>
#include <android/log.h>

// Android日志宏
#define LOG_TAG "NativeLog"
#define LOGI(...) __android_log_print(ANDROID_LOG_INFO, LOG_TAG, __VA_ARGS__)

const size_t LOG_SIZE = 1024 * 1024; // 1MB

// 获取当前日志文件的偏移量
size_t get_current_offset(const char* mapped) {
    size_t offset = 0;
    while (offset < LOG_SIZE && mapped[offset] != '\0') {
        ++offset;
    }
    return offset;
}

void write_log(char* mapped, const char* log_msg, size_t offset) {
    size_t log_len = strlen(log_msg);
    if (offset + log_len < LOG_SIZE) {
        strcpy(mapped + offset, log_msg);
    } else {
        LOGI("Not enough space to append log!");
    }
}

void read_log(char* mapped) {
    LOGI("Log content: %s", mapped);
}

extern "C"
JNIEXPORT void JNICALL
Java_com_example_mmapsamples_MainActivity_writeLog(JNIEnv *env, jobject thiz, jstring msg) {
    // 获取应用的私有文件路径
    const char* filename = "/data/data/com.xgimi.mmapsamples/files/logfile.txt";

    // 打开日志文件
    int fd = open(filename, O_RDWR | O_CREAT, 0666);
    if (fd == -1) {
        perror("Error opening file");
        return;
    }

    // 扩展文件大小
    if (ftruncate(fd, LOG_SIZE) == -1) {
        perror("Error truncating file");
        close(fd);
        return;
    }

    // 映射文件到内存
    char* mapped = (char*)mmap(nullptr, LOG_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (mapped == MAP_FAILED) {
        perror("Error mapping file");
        close(fd);
        return;
    }

    // 获取偏移量并写入日志
    const char* log_msg = env->GetStringUTFChars(msg, nullptr);
    size_t offset = get_current_offset(mapped);
    write_log(mapped, log_msg, offset);
    env->ReleaseStringUTFChars(msg, log_msg);

     // 解除映射
    if (munmap(mapped, LOG_SIZE) == -1) {
        perror("Error unmapping file");
    }

    // 关闭文件
    close(fd);

---

五. 总结与扩展

• 总结：通过 mmap，可以高效地实现文件读写操作，特别适用于固定大小的日志存储场景。
• 扩展：
  • mmap 的应用场景不限于日志，还可用于共享内存、多线程通信等。
  • 可结合环形缓冲区设计，实现循环日志存储，进一步优化日志系统。

六.参考

内存映射的一些理论概述，可参考如下文章：
https://blog.csdn.net/luo_boke/article/details/109311432?utm_source=chatgpt.com