Nginx+PHP Xsendfile文件传输
1.简介
传统的文件传输模式中(read/write和send/recv),需要在文件file,系统buffer和用户buffer中反复I/O,造成内存的浪费与资源占用,大致流程如下.
- 1.调用
read(file, tmp_buf, len);,切换user mode至kernel mode,将文件从磁盘读取到kernel buffer中挂起;
关于read():
ssize_t read (int fd, void *buf, size_t count);
成功返回读取的字节数，出错返回-1并设置errno，如果在调read之前已到达文件末尾，则这次read返回0。
read()会把参数fd所指的文件传送nbyte个字节到buf指针所指的内存中。若参数nbyte为0，则read()不会有作用并返回0。返回值为实际读取到的字节数，如果返回0，表示已到达文件尾或无可读取的数据。错误返回-1,并将根据不同的错误原因适当的设置错误码。
-
2.
read()返回,切换kernel mode至user mode,把kernel buffer中缓存的数据复制到user buffer中; -
3.调用
write(socket, tmp_buf, len);,切换user mode至kernel mode,把复制到user buffer中的数据再次复制到另一个与socket关联的kernel buffer;
关于write():
ssize_t write(int fd, const void *buf, size_t nbyte);
write函数把buf中nbyte写入文件描述符handle所指的文档，成功时返回写的字节数，错误时返回-1.
- 4.
write()返回,切换kernel mode至user mode,将上一步缓存到kernel buffer中的数据复制到服务器协议栈中;
简单图示:
图片来源:http://laoxu.blog.51cto.com/4120547/1417294
这样的传输方式固然简单可靠,但是由于一共进行了四次跨space的I/O和四次mode切换,所以在传输size过大或数量过多的文件时效率堪忧.
在Linux 2.0+以后提供了一个sendfile()的文件传送方式,
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);
文档
sendfile()是作用于数据拷贝在两个文件描述符之间的操作函数.这个拷贝操作是内核中操作的,所以称为"零拷贝".sendfile函数比起read和write函数高效得多,因为read和write是要把数据拷贝到用户应用层操作.
其大致流程如下:
- 1.调用
sendfile()把磁盘中的数据复制到kernel buffer; - 2.把复制到kernel buffer中的数据复制到另一个socket关联的kernel buffer中;
- 3.将上一步缓存到socket kernel buffer中的数据复制到服务器协议栈中;
以上流程中并没有出现mode的切换,并且省略了涉及user buffer的两次I/O,所以性能会比传统方式优异许多.
简单图示:
图片来源:http://laoxu.blog.51cto.com/4120547/1417294
2.实现
强烈建议先阅读官方文档:
XSendfile-Nginx官方文档
- 1.首先需要确保Nginx支持sendfile:
$ sudo vi /etc/nginx/nginx.conf
>>
sendfile on;
- 2.既然涉及PHP的文件传输,header不能少:
header('Content-type: application/octet-stream');
// 这里的$s_fileName指的是被下载的文件名
header('Content-Disposition: attachment; filename="' . $s_fileName . '"');
// nginx sendfile
// 这里的$p_file指的是在nginx中约定的访问路径
header('X-Accel-Redirect: '.$p_file);
- 3.上一步的
$p_file并不是指文件的实际路径,而是nginx中约定的路由,所以需要配置nginx:
// 假设 $p_file = "/demo/download/" . $s_fileName;
// 假设该文件的实际路径为 /var/www/demo/_api.git/var/tmp/
location /demo/download {
internal;
alias /var/www/demo/_api.git/var/tmp/;
}
- 4.重启一下相关服务以加载最新配置:
$ sudo service nginx reload
需要注意的是:
- 1.声明Xsendfile的
header必须包含约定的URI; - 2.在配置文件中约定的解析路径必须被声明为内部调用(internal),这么做是为了防止外部URI的直接访问;
- 3.根据实际需求选择解析目录使用
root(实际目录)还是alias(虚拟目录)关键字; - 4.另外Nginx提供了几个header控制sendfile的配置:
X-Accel-Limit-Rate: 1024
X-Accel-Buffering: yes|no
X-Accel-Charset: utf-8
