【iOS】关于大文件(如视频)的分片上传
2018-03-10 本文已影响581人
取名有丶难
前言
到目前为止，作为一个iOS开发人员，在开发这条路上也走了2年多时间了，之前一直忙于工作中的各种项目的开发。之前在一个项目里要做音视频相关模块，那个时候就开始着手研究相关的音视频的播放，还有配套的上传下载的相关内容，于是便有了本片文章的内容。
运行效果
话不多说，直接上demo的运行效果，下面是进行上传任务时的效果。
image
使用方法
初始化
- (BOOL)application:(UIApplication *)application didFinishLaunchingWithOptions:(NSDictionary *)launchOptions {
/*在App的启动回调方法里面初始化上传管里类*/
[[CWFileUploadManager shardUploadManager] config:[self setUpRequest] maxTask:3];
return YES;
}
/*提供一个可供管理器初始化的参数*/
- (NSMutableURLRequest *)setUpRequest{
NSURL *url = [NSURL URLWithString:[NSString stringWithFormat:@"%@/upload/file",CURRENT_API]];
NSMutableURLRequest* request=[NSMutableURLRequest requestWithURL:url];
request.HTTPMethod=@"POST";
[request setValue:[NSString stringWithFormat:@"multipart/form-data; boundary=%@",@"1a2b3c"] forHTTPHeaderField:@"Content-Type"];
[request setValue:@"v1" forHTTPHeaderField:@"api_version"];
return request;
}
新建上传任务并开始上传
//新建上传任务 @param filePath 待上传文件的地址
CWUploadTask *task = [[CWFileUploadManager shardUploadManager] createUploadTask:filePath];
//开始上传
[task taskResume];
设计思路
这里必须提到一些常规的上传方式，基本上项目中用到的上传比较多的是图片上传，而且一般最多不会超过9张（例如微信），所以在不太讲究的情况下可以直接使用将图片读取为NSData类型加载到内存中，然后在使用NSURLSessionTask派生出的一些子类（例如NSURLSessionUploadTask）直接调用系统提供的api进行上传就行了。这种类型的文件上传由于单个文件的体积太小，即使上传失败了再重复上传也不碍事，所以也不用考虑续传的问题。
视频这种大文件则不能忽略上面这些问题，由于文件体积的增大，由量变产生的质变之后再使用上面的常规方式上传则会产生一系列风险。首先是断点续传的问题，例如视频上传的过程中如果由于网络或者服务端的一些原因而上传失败，这个时候在进行重新上传显然实不可取的，用户也难以接受。再者一次性将文件读取到内存中也会因为文件过大导致内存暴涨，这样app就有崩溃闪退的风险。因此文件的分片再上传也就成了顺理成章的方案。
-
文件分片
文件分片这个功能我设计了一个单独的类cwfilestreamseparation去完成它提供文件路径让类的初始化方法返回一个记录文件分片信息的对象
-(instancetype)initFileOperationAtPath:(NSString*)path forReadOperation:(BOOL)isReadOperation {
if (self = [super init]) {
self.isReadOperation = isReadOperation;
if (_isReadOperation) {
if (![self getFileInfoAtPath:path]) {
return nil;
}
self.readFileHandle = [NSFileHandle fileHandleForReadingAtPath:path];
[self cutFileForFragments];
} else {
NSFileManager *fileMgr = [NSFileManager defaultManager];
if (![fileMgr fileExistsAtPath:path]) {
[fileMgr createFileAtPath:path contents:nil attributes:nil];
}
if (![self getFileInfoAtPath:path]) {
return nil;
}
self.writeFileHandle = [NSFileHandle fileHandleForWritingAtPath:path];
}
}
return self;
}
通过方法对文件进行切割
//切分文件片段
-(void)cutFileForFragments {
NSUInteger offset = CWStreamFragmentMaxSize;
// 块数
NSUInteger chunks = (_fileSize%offset==0)?(_fileSize/offset):(_fileSize/(offset) + 1);
NSMutableArray<CWStreamFragment *> *fragments = [[NSMutableArray alloc] initWithCapacity:0];
for (NSUInteger i = 0; i < chunks; i ++) {
CWStreamFragment *fFragment = [[CWStreamFragment alloc] init];
fFragment.fragmentStatus = NO;
fFragment.fragmentId = [[self class] fileKey];
fFragment.fragementOffset = i * offset;
if (i != chunks - 1) {
fFragment.fragmentSize = offset;
} else {
fFragment.fragmentSize = _fileSize - fFragment.fragementOffset;
}
[fragments addObject:fFragment];
}
self.streamFragments = fragments;
将切割文件产生的片段信息保存到类CWStreamFragment里
@property (nonatomic,copy)NSString *fragmentId; //片的唯一标识
@property (nonatomic,assign)NSUInteger fragmentSize; //片的大小
@property (nonatomic,assign)NSUInteger fragementOffset;//片的偏移量
@property (nonatomic,assign)BOOL fragmentStatus; //上传状态 YES上传成功
通过以上操作产生出一个CWFileStreamSeparation类的实例对象，这个对象将作为上传任务的数据模型。
上传任务
这里新建一个上传任务的类CWUploadTask来实例化每个上传任务对象，通过上传任务对象去管理操作每个上传任务，CWUploadTask会根据一个CWFileStreamSeparation模型来实例化。
+(instancetype)initWithStreamModel:(CWFileStreamSeparation *)fileStream
{
CWUploadTask *task = [CWUploadTask new];
task.fileStream = fileStream;
task.isSuspendedState = NO;
task.url = [CWFileUploadManager shardUploadManager].url;
return task;
}
由于上传任务是一个持续与服务端交互的动作，因此在设计之初先要与服务端做各种约定，这里我与服务端约定在上传前先上传文件信息用于服务端做验证，同时服务端会返回任务上传的初始参数。这个返回的json数据里面的参数只有一个记录文件分片编号的参数是会根据当前上传的片段去做相应的更改，因此我建立了一个CWUploadTask的Category来专门实现这个获取参数与验证文件的网络请求方法。
-(void)checkParamFromServer:(CWFileStreamSeparation *_Nonnull)fileStream
paramCallback:(void(^ _Nullable)(NSString *_Nonnull chunkNumName,NSDictionary *_Nullable param))paramBlock
{
NSString *uploadFileInfoUrl=[NSString stringWithFormat:@"%@/upload/checkFileChunk",CURRENT_API];
NSURL *url = [NSURL URLWithString:uploadFileInfoUrl];
NSMutableURLRequest *request = [NSMutableURLRequest requestWithURL:url];
NSString *args = [NSString stringWithFormat:@"bizId=%@&fileName=%@&saveName=%@&chunks=%@",fileStream.bizId,fileStream.fileName,fileStream.md5String,[NSString stringWithFormat:@"%zd",fileStream.streamFragments.count]];
NSLog(@"%@",args);
request.HTTPMethod = @"POST";//设置请求类型
[request setValue:@"v1" forHTTPHeaderField:@"api_version"];
request.HTTPBody = [args dataUsingEncoding:NSUTF8StringEncoding];//设置参数
NSURLSession *session = [NSURLSession sharedSession];
//发送请求
NSURLSessionDataTask *postTask = [session dataTaskWithRequest:request completionHandler:^(NSData * _Nullable data, NSURLResponse * _Nullable response, NSError * _Nullable error) {
if (error == nil) {
//解析得到的数据
NSDictionary *dict = [NSJSONSerialization JSONObjectWithData:data options:kNilOptions error:nil];
if ([dict[@"code"] isEqualToString:@"500"]) {
NSLog(@"%@",dict[@"desc"]);
return;
}
NSMutableDictionary *tmpParam = [NSMutableDictionary dictionary];
[tmpParam setDictionary:dict[@"data"]];
paramBlock(@"chunk",tmpParam);
}
}];
[postTask resume];
这里我直接使用了NSURLSessionDataTask做POST请求了，没有使用AFNetworking，改写为其它任意方式都无所谓。
获取了参数传递的方式，下面就能开始上传了
//上传文件的核心方法
-(void)startExe{
//判断无参数的情况下先将文件信息上传并获得参数
if (!_param) [self postFileInfo];
dispatch_group_t group = dispatch_group_create();
dispatch_semaphore_t semaphore = dispatch_semaphore_create(0);
dispatch_queue_t queue = dispatch_queue_create(NULL, DISPATCH_QUEUE_SERIAL);
if (_fileStream.fileStatus == CWUploadStatusFinished && _successBlock) {
_successBlock(_fileStream);
return;
};
for (NSInteger i=0; i<_fileStream.streamFragments.count; i++) {
CWStreamFragment *fragment = _fileStream.streamFragments[i];
if (fragment.fragmentStatus) continue;
dispatch_group_async(group, queue, ^{
@autoreleasepool {
NSData *data = [_fileStream readDateOfFragment:fragment];
__weak typeof(self) weekSelf = self;
[_param setObject:[NSString stringWithFormat:@"%zd",(i+1)] forKey:_chunkNumName];
[self uploadTaskWithUrl:_url param:_param uploadData:data completionHandler:^(NSData * _Nullable data, NSURLResponse * _Nullable response, NSError * _Nullable error) {
NSHTTPURLResponse *httpResponse = (NSHTTPURLResponse*)response;
if (!error && httpResponse.statusCode==200) {
_taskRepeatNum = 0;
fragment.fragmentStatus = YES;
_fileStream.fileStatus = CWUploadStatusUpdownloading;
[weekSelf archTaskFileStream];
weekSelf.lastParam = _param;
weekSelf.chunkNo = i+1;
dispatch_async(dispatch_get_main_queue(), ^{
if (_finishBlock) _finishBlock(_fileStream,nil);
[self sendNotionWithKey:@"CWUploadTaskExeing" userInfo:@{@"fileStream":_fileStream,@"lastParam":_lastParam,@"indexNo":@(_chunkNo)}];
});
dispatch_semaphore_signal(semaphore);
}else{
if (_taskRepeatNum<REPEAT_MAX) {
_taskRepeatNum++;
[weekSelf startExe];
}else{
_fileStream.fileStatus = CWUploadStatusFailed;
dispatch_async(dispatch_get_main_queue(), ^{
if (_finishBlock) _finishBlock(_fileStream,error);
[self sendNotionWithKey:@"CWUploadTaskExeError" userInfo:@{@"fileStream":_fileStream,@"error":error}];
});
[weekSelf deallocSession];
return;
}
}
}];
dispatch_semaphore_wait(semaphore, DISPATCH_TIME_FOREVER);
}
});
}
dispatch_group_notify(group, queue, ^{
_fileStream.fileStatus = CWUploadStatusFinished;
[self archTaskFileStream];
if (_finishBlock) _finishBlock(_fileStream,nil);
[self deallocSession];
});
这里对文件的片段做了循环的上传，由于网络请求是一个异步的操作，同时也考虑到太多并发（当然系统对于网络请求开辟的线程个数也有限制）对于手机性能的影响，因此利用GCD信号量等待这种功能特性让一个片段上传完之后再进行下一个片段的上传。
mark: 在这里有一个坑
当时在调试上传时我发现随着上传任务的进行，app所占用的内存也会不断地上涨，本来分片上传就是要去避免内存占用过大的问题，但是调试时还是出现了内存不断增长的问题。之后我开始着手分析问题产生的原因，首先来讲它的内存是随着上传任务的执行时间线性的上涨的，通过这个就可以判断内存增长的原因并不是分片读取失败而直接读取大文件到内存中。虽然排除了一部分原因，但是问题还没有解决。还是通过内存的线性增长这个特性，我隐约感觉到是每一片的上传任务执行完之后并没有立即的释放内存，那么在不断地循环上传的过程中内存的占用就会不断升高直到程序崩溃。后面通过调试证实了这个猜想。知道原因之后就着手解决，这里说个题外话，ARC这个机制确实好，让我们iOS开发过程中基本没有去写管理内存的代码，不过遇到这种情况就必须亲自上阵来管理这一部分的内存了，在循环的方法中加了个autoreleasepool，让执行完的任务及时的释放内存，于是就填上了这个坑。
mark:填了个新坑
在文件分片中有生成文件的MD5摘要的方法
+ (NSString *)fileKey {
CFUUIDRef uuid = CFUUIDCreate(kCFAllocatorDefault);
CFStringRef cfstring = CFUUIDCreateString(kCFAllocatorDefault, uuid);
const char *cStr = CFStringGetCStringPtr(cfstring,CFStringGetFastestEncoding(cfstring));
unsigned char result[16];
CC_MD5( cStr, (unsigned int)strlen(cStr), result );
CFRelease(uuid);
CFRelease(cfstring);
return [NSString stringWithFormat:
@"%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%02x%08lx",
result[0], result[1], result[2], result[3],
result[4], result[5], result[6], result[7],
result[8], result[9], result[10], result[11],
result[12], result[13], result[14], result[15],
(unsigned long)(arc4random() % NSUIntegerMax)];
}
注意其中有CF开头的方法和变量，这是CoreFoundation中的东西，这个框架里的对象需要自己调用CFRelease()方法进行回收，之前忘了写，导致了内存泄漏。
已经能够实现上传了，接下来当然是任务管理
任务管理
考虑到实际需求，这里需要提供一个单例来作为上传任务的管理器。这里就没有太多可说的了，无非是提供一些容器来分门别类的操作不同状态的上传任务。我这里是将一些任务建立，全部任务的删除，暂停之类的方法设计在管理类之上
//根据文件路径创建上传任务
- (CWUploadTask *_Nullable)createUploadTask:(NSString *_Nonnull)filePath;
/**
删除一个上传任务，同时会删除当前任务上传的缓存数据
@param fileStream 上传文件的路径
*/
- (void)removeUploadTask:(CWFileStreamSeparation *_Nonnull)fileStream;
/**
暂停所有上传任务
*/
- (void)pauseAllUploadTask;
/**
删除所有上传任务
*/
- (void)removeAllUploadTask;
以及一些可能常用的对任务分类的容器
//总任务数
@property (nonatomic,readonly)NSMutableDictionary *allTasks;
//正在上传中的任务
@property (nonatomic,readonly)NSMutableDictionary *uploadingTasks;
//正在等待上传的任务
@property (nonatomic,readonly)NSMutableDictionary *uploadWaitTasks;
//已经上传完的任务
@property (nonatomic,readonly)NSMutableDictionary *uploadEndTasks;
同时一些全局相关的设置也放在这个管理类中
//配置全局默认参数
/**
@param request 默认请求头
@param num 最大任务数，默认为3
*/
- (void)config:(NSMutableURLRequest * _Nonnull)request maxTask:(NSInteger)num;
