tomcat真正做到零拷贝文件下载的使用方式及原理解析
2023-09-12 本文已影响0人
江江的大猪
前言
- 本文所说的零拷贝指的是操作系统层面的零拷贝，不是应用层自身对数据复制优化的零拷贝
- 本文对零拷贝在操作系统层面上的原理不做说明，解释零拷贝原理的文章已经有很多
- netty常说的零拷贝有两种，一方面是应用层ByteBuf的数据复制优化，一方面是FileRegion，只有FileRegion才是操作系统层面的零拷贝
- 零拷贝需要操作系统的系统调用支持，linux中是mmap和sendfile两种系统调用，java中对应的是FileChannel.map()和FileChannel.transferTo()，如果操作系统不支持，在java中调用这两个方法也不是真正的零拷贝
- java零拷贝的基本只存在于文件上传、文件下载、网络代理这三种应用场景，本文仅讨论文件下载，其他两种情况可以举一反三
- 文件下载依赖FileChannel.transferTo()实现真正的零拷贝
- 目前能查到的java tomcat工程中零拷贝的应用示例基本都是错的，比如https://www.springcloud.io/post/2022-03/zero-copy/、https://springboot.io/t/topic/2147
使用tomcat普通文件下载的正确姿势(性能差，容易oom)
@PostMapping("download")
public ResponseEntity<byte[]> download() throws IOException {
String filePath = "xxx";
String fileName = "xxx";
Path file = Paths.get(filePath);
byte[] bytes = FileUtils.readFileToByteArray(file.toFile());
String contentType = Files.probeContentType(file);
if (contentType == null) {
contentType = MediaType.APPLICATION_OCTET_STREAM_VALUE;
}
HttpHeaders headers = new HttpHeaders();
headers.setContentType(MediaType.parseMediaType(contentType));
headers.setContentDisposition(ContentDisposition.attachment().filename(fileName, Charsets.UTF_8).build());
return ResponseEntity.ok().headers(headers).body(bytes);
}
使用tomcat实现零拷贝文件下载的正确姿势
@PostMapping("zeroCopyDownload")
public void zeroCopyDownload(HttpServletRequest request, HttpServletResponse response) throws IOException {
String filePath = "xxx";
String fileName = "xxx";
if (!Boolean.parseBoolean(request.getAttribute(Constants.SENDFILE_SUPPORTED_ATTR).toString())) {
throw new MyException("unsupported");
}
Path file = Paths.get(filePath);
String contentType = Files.probeContentType(file);
if (contentType == null) {
contentType = MediaType.APPLICATION_OCTET_STREAM_VALUE;
}
response.setContentType(contentType);
response.setContentLengthLong(file.toFile().length());
response.setHeader(HttpHeaders.CONTENT_DISPOSITION, ContentDisposition.attachment().filename(fileName, Charsets.UTF_8).build().toString());
// 通过start/end可以实现零拷贝分片下载
// 请求域attribute参数详见 https://tomcat.apache.org/tomcat-10.1-doc/api/org/apache/coyote/Constants.html
request.setAttribute(Constants.SENDFILE_FILENAME_ATTR, filePath);
request.setAttribute(Constants.SENDFILE_FILE_START_ATTR, 0L);
request.setAttribute(Constants.SENDFILE_FILE_END_ATTR, file.toFile().length());
}
// tomcat源码Http11Processor.prepareSendfile如下，使用上面设置的attribute构建sendfileData
private void prepareSendfile(OutputFilter[] outputFilters) {
String fileName = (String) request.getAttribute(org.apache.coyote.Constants.SENDFILE_FILENAME_ATTR);
if (fileName == null) {
sendfileData = null;
} else {
// No entity body sent here
outputBuffer.addActiveFilter(outputFilters[Constants.VOID_FILTER]);
contentDelimitation = true;
long pos = ((Long) request.getAttribute(org.apache.coyote.Constants.SENDFILE_FILE_START_ATTR)).longValue();
long end = ((Long) request.getAttribute(org.apache.coyote.Constants.SENDFILE_FILE_END_ATTR)).longValue();
sendfileData = socketWrapper.createSendfileData(fileName, pos, end - pos);
}
}
// tomcat源码NioEndpoint.processSendfile简略版如下，调用transferTo将sendfileData传输到SocketChannel中
public SendfileState processSendfile(SelectionKey sk, NioEndpoint.NioSocketWrapper socketWrapper, boolean calledByProcessor) {
NioEndpoint.SendfileData sd = socketWrapper.getSendfileData();
NioChannel sc = socketWrapper.getSocket();
// TLS/SSL channel is slightly different，https因为一定要把数据读取到应用侧校验，所以无法使用零拷贝
WritableByteChannel wc = ((sc instanceof SecureNioChannel) ? sc : sc.getIOChannel());
long written = sd.fchannel.transferTo(sd.pos, sd.length, wc);
if (written > 0) {
sd.pos += written;
sd.length -= written;
socketWrapper.updateLastWrite();
}
}
使用tomcat文件下载的常见错误做法
Channels.newChannel()创建出来的是WritableByteChannelImpl对象，零拷贝传输并不支持该类型
@PostMapping("download")
public void download(HttpServletResponse response) throws IOException {
String filePath = "xxx";
String fileName = "xxx";
Path file = Paths.get(filePath);
String contentType = Files.probeContentType(file);
if (contentType == null) {
contentType = MediaType.APPLICATION_OCTET_STREAM_VALUE;
}
try (FileChannel fileChannel = FileChannel.open(file)) {
WritableByteChannel outChannel = Channels.newChannel(response.getOutputStream());
long size = fileChannel.size();
response.setContentType(contentType);
response.setContentLengthLong(size);
response.setHeader(HttpHeaders.CONTENT_DISPOSITION, ContentDisposition.attachment().filename(fileName, Charsets.UTF_8).build().toString());
for (long position = 0; position < size; ) {
position = position + fileChannel.transferTo(position, size - position, outChannel);
}
}
}
FileChannel.transferTo的实现解析(sun.nio.ch.FileChannelImpl中实现)
就不详细看代码了，只看主体逻辑，这里也能解释为什么说上面那种调用fileChannel.transferTo的方法并不是零拷贝，因为目标channel是WritableByteChannelImpl，最终只会调用到transferToArbitraryChannel
transferTo方法中会依次尝试调用下面三个方法
// 仅支持目标channel是FileChannel和SelChImpl(SocketChannel、ServerSocketChannel)
// 最终调用native方法transferTo0，不同操作系统实现不一样
transferToDirectly();
// 仅支持目标channel是FileChannel
// 调用FileChannel的map方法最终调用native方法map0获得MappedByteBuffer，然后写入
transferToTrustedChannel();
// 最普通的做法，现在应用侧读取文件内容再写入，
transferToArbitraryChannel();
transferTo0的native实现解析(以jdk8为例)
可以看到linux和mac是支持的(也无法保证每个版本都支持)，window不支持。这也体现了即使使用了正确的目标channel类型，可以最终调用到transferTo0的native方法也无法保证一定是零拷贝，还要看运行的操作系统是否支持
// *nux实现https://github.com/openjdk/jdk/blob/jdk8-b120/jdk/src/solaris/native/sun/nio/ch/FileChannelImpl.c
Java_sun_nio_ch_FileChannelImpl_transferTo0(JNIEnv *env, jobject this,
jint srcFD,
jlong position, jlong count,
jint dstFD)
{
#if defined(__linux__)
// 省略
jlong n = sendfile64(dstFD, srcFD, &offset, (size_t)count);
#elif defined (__solaris__)
// 省略
result = sendfilev64(dstFD, &sfv, 1, &numBytes);
#elif defined(__APPLE__)
// 省略
result = sendfile(srcFD, dstFD, position, &numBytes, NULL, 0);
#else
return IOS_UNSUPPORTED_CASE;
#endif
// windows实现https://github.com/openjdk/jdk/blob/jdk8-b120/jdk/src/windows/native/sun/nio/ch/FileChannelImpl.c
Java_sun_nio_ch_FileChannelImpl_transferTo0(JNIEnv *env, jobject this,
jint srcFD,
jlong position, jlong count,
jint dstFD)
{
return IOS_UNSUPPORTED;
}
总结
- 只有使用正确的目标channel(FileChannel/SelChImpl的实现类)，运行在支持的操作系统上，我们的java代码才可以真正的零拷贝实现文件下载
- 并不建议使用tomcat来做真正的文件服务(当然如果文件较小，请求量不大也可以用)，开发者无法控制文件的读取写入，完全被tomcat托管了。真正的文件服务还是推荐用netty自己开发，可以保证文件读取写入的完全可控 ，用好netty的FileRegion
- 大多数开发者仅仅是在操作系统层面了解零拷贝的原理，实际应用中因为不了解jvm对系统调用的包装，会想当然的误以为只要调用了FileChannel的transferTo方法就一定是零拷贝。https://www.springcloud.io/post/2022-03/zero-copy/、https://springboot.io/t/topic/2147 这两个文章可能误导了非常多人
