Machine Learning in iOS
人工智能今年到底有多火？谁都不知道，但一定是炙手可热。自从AlphaGo打败世界最顶级的围棋选手后，这股旋风就一直没有停过。各家厂商也都推出了自己的平台上的支持，如Google I/O 2017上宣布的Mobile First To AI First，Tensorflow和AI in Android等一系列重拳。这样一场最尖端科技的对垒，怎少得了Apple，这不WWDC 2017，iOS 11正式推出了Core ML。
由于个人水平有限，本文将会浅谈一下以下几个议题：
- 人工智能和机器学习是什么
- iOS上如何玩机器学习
人工智能和机器学习
其实提到人工智能，很多人都会联想到电影里那些强悍的未来机器人，因此会觉得这是一项非常前沿的、崭新的科技。而事实上，人工智能的概念在1956年就已经提出，但由于当时计算能力、存储能力的限制，一直都没有太多太大的发展。
而机器学习，从某种意义上来说，就是一种实现人工智能的方法。与我们传统的为解决特定任务而进行的硬编码的软件程序不同，机器学习是通过使用大量的数据进行训练，通过各种算法从数据中学习，来达到完成目的任务的。
简单而言，就是：
数据->算法->模型； 需要判断的数据->模型->给出预测
即，使用大量的数据，通过一定的算法来生成一项数据模型；一旦数据模型生成成功后，就可以利用它来对需要判断的数据给出相应的预测了。
iOS下的机器学习
以上我们简单了解了一下机器学习的一个主要的过程。而事实上，通过特定算法，使用大量数据来进行模型生成的这个过程，是非常地消耗计算和存储资源的；特别是现在的一些特大规模的神经网络，一般单个的普通机器根本扛不住，甚至连跑都跑不起来。
因此在这样一种情况下，根本不能奢侈训练这样一个过程能够在iOS设备上进行，更多的情况我们都是放在后端的HBase、Cassandra这种数据库中，然后再通过诸如Caffe, Scikit-Learn, Tensorflow这些来进行相应的训练，最后生成我们想要的模型。拿到模型后，对于数据的判断，移动端的设备似乎就能够做一些力所能及之事了。
而对于iOS 11 的Core ML，正是这样一个存在。它提出了一个模型构造的标准，让移动端开发者不用过于关心模型内部的实现细节，而只关注其输入和输出的参数，就达到了使用机器学习的目的。事实上个人在模型使用的过程中，它更像是一个函数或者一个类的使用；而就是这样一些简单的函数调用，就让你的App瞬间拥有了机器学习这样一个高大上的概念，何不也试试？
下面我们就也来做个Demo玩玩吧。我这里用的OC，如果更熟悉Swift，其实WWDC上的Demo也许也能够帮你达到学习的目的。
这里我们会分几个步骤来做：
- 做一个模型
- 写好壳APP用来装模型，并提供输入和输出的地方
做一个模型
会有很多人疑问，刚才都已经提到了，训练模型是个非常消耗计算和存储资源的事情，那我们怎么做模型？
庆幸的是，Apple早已想到这一点，目前已经提供了一些已经训练好的Core ML 模型供我们进行测试使用。可以访问Apple Machine Learning，我们可以看到，目前提供有以下几种图像识别模型：
- Places205-GoogleNet
- ResNet50
- Inception v3
- VGG16
从介绍中，我们了解到，这些模型都是用于图像的物体识别的。有兴趣可以看看details，我这里选择了ResNet50作为我的Demo Model。
写一个壳APP
我们选择了一个图像识别的模型，因此这个壳的APP需要具备拍照或者照片选取的功能。本着一切就简的原则，立马想到了UIImagePickerController来达到目的。
@interface ViewController ()<UIImagePickerControllerDelegate, UINavigationControllerDelegate>
@property (nonatomic, strong)UIImagePickerController *imagePickerController;
...
@end
@implementation ViewController
- (void)viewDidLoad {
[super viewDidLoad];
// Do any additional setup after loading the view, typically from a nib.
UIBarButtonItem *photoBtnItem = [[UIBarButtonItem alloc] initWithBarButtonSystemItem:UIBarButtonSystemItemCamera
target:self
action:@selector(takeCamera)];
self.navigationItem.rightBarButtonItem = photoBtnItem;
self.imagePickerController = [[UIImagePickerController alloc] init];
self.imagePickerController.delegate = self;
self.imagePickerController.modalTransitionStyle = UIModalTransitionStyleFlipHorizontal;
self.imagePickerController.allowsEditing = YES;
}
...
- (void)takeCamera {
self.imagePickerController.sourceType = UIImagePickerControllerSourceTypeCamera;
self.imagePickerController.mediaTypes = @[(NSString *)kUTTypeImage];
self.imagePickerController.cameraCaptureMode = UIImagePickerControllerCameraCaptureModePhoto;
[self.navigationController presentViewController:self.imagePickerController
animated:YES
completion:nil];
}
到这里，很简单地就把UIImagePickerController给搞定了，那么下面来看看这个Resnet50 Core ML Model。
MachineLearningIniOS_1.jpg
从这张图中，我们主要需要关注以下几点：
- inputs
- outputs
- generated source
首先，我们从inputs 可以看到，这个模型需要输入的是一个 224 * 224 的Image 图片模型；输出则是预测归类标签等信息。这里，如果我们还看不大明白的话，可以点击Resnet50(Objective-C generated source)后面的箭头，来看看生成的OC代码。
//
// Resnet50.h
//
// This file was automatically generated and should not be edited.
//
#import <Foundation/Foundation.h>
#import <CoreML/CoreML.h>
#include <stdint.h>
NS_ASSUME_NONNULL_BEGIN
/// Model Prediction Input Type
@interface Resnet50Input : NSObject<MLFeatureProvider>
/// Input image of scene to be classified as BGR image buffer, 224 pixels wide by 224 pixels high
@property (readwrite, nonatomic) CVPixelBufferRef image;
- (instancetype)init NS_UNAVAILABLE;
- (instancetype)initWithImage:(CVPixelBufferRef)image;
@end
/// Model Prediction Output Type
@interface Resnet50Output : NSObject<MLFeatureProvider>
/// Probability of each category as dictionary of strings to doubles
@property (readwrite, nonatomic) NSDictionary<NSString *, NSNumber *> * classLabelProbs;
/// Most likely image category as string value
@property (readwrite, nonatomic) NSString * classLabel;
- (instancetype)init NS_UNAVAILABLE;
- (instancetype)initWithClassLabelProbs:(NSDictionary<NSString *, NSNumber *> *)classLabelProbs classLabel:(NSString *)classLabel;
@end
/// Class for model loading and prediction
@interface Resnet50 : NSObject
@property (readonly, nonatomic, nullable) MLModel * model;
- (nullable instancetype)initWithContentsOfURL:(NSURL *)url error:(NSError * _Nullable * _Nullable)error;
/// Make a prediction using the standard interface
/// @param input an instance of Resnet50Input to predict from
/// @param error If an error occurs, upon return contains an NSError object that describes the problem. If you are not interested in possible errors, pass in NULL.
/// @return the prediction as Resnet50Output
- (nullable Resnet50Output *)predictionFromFeatures:(Resnet50Input *)input error:(NSError * _Nullable * _Nullable)error;
/// Make a prediction using the convenience interface
/// @param image Input image of scene to be classified as BGR image buffer, 224 pixels wide by 224 pixels high:
/// @param error If an error occurs, upon return contains an NSError object that describes the problem. If you are not interested in possible errors, pass in NULL.
/// @return the prediction as Resnet50Output
- (nullable Resnet50Output *)predictionFromImage:(CVPixelBufferRef)image error:(NSError * _Nullable * _Nullable)error;
@end
NS_ASSUME_NONNULL_END
啊哈，有了这些代码，那么再来搞这个东西就很简单了。于是乎：
#import "ViewController.h"
#import <CoreML/CoreML.h>
#import "Resnet50.h"
@import CoreVideo;
@import MobileCoreServices;
...
#pragma mark -
#pragma mark - UIImageController Delegate
- (void)imagePickerController:(UIImagePickerController *)picker
didFinishPickingMediaWithInfo:(NSDictionary<NSString *,id> *)info {
NSString *mediaType=[info objectForKey:UIImagePickerControllerMediaType];
if ([mediaType isEqualToString:(NSString *)kUTTypeImage]){
CGSize thesize = CGSizeMake(224, 224);
UIImage *theimage = [self image:info[UIImagePickerControllerEditedImage] scaleToSize:thesize];
self.imageView.image = theimage;
CVPixelBufferRef imageRef = [self pixelBufferFromCGImage:theimage.CGImage];
Resnet50 *resnet50Model = [[Resnet50 alloc] init];
NSError *error = nil;
Resnet50Output *output = [resnet50Model predictionFromImage:imageRef
error:&error];
if (error == nil) {
self.photoNameLabel.text = output.classLabel;
} else {
NSLog(@"Error is %@", error.localizedDescription);
}
}
UIImagePickerController *imagePickerVC = picker;
[imagePickerVC dismissViewControllerAnimated:YES completion:^{
}];
}
这样基本就完成了主要代码的编写。不过，这个过程中需要注意几点的是：
- 模型的Input Image是有宽和高限制的，因此输入时，需要转换为224 * 224大小才能够正确识别
-
CVPixelBufferRef这种图像格式的处理与UIImage, CGImageRef的处理需小心，容易造成内存泄漏。这里用的转换代码都来自于网络。
#pragma mark - Image Helpful Tools
- (CVPixelBufferRef) pixelBufferFromCGImage: (CGImageRef) image {
NSDictionary *options = @{
(NSString*)kCVPixelBufferCGImageCompatibilityKey : @YES,
(NSString*)kCVPixelBufferCGBitmapContextCompatibilityKey : @YES,
};
CVPixelBufferRef pxbuffer = NULL;
CVReturn status = CVPixelBufferCreate(kCFAllocatorDefault, CGImageGetWidth(image),
CGImageGetHeight(image), kCVPixelFormatType_32ARGB, (__bridge CFDictionaryRef) options,
&pxbuffer);
if (status!=kCVReturnSuccess) {
NSLog(@"Operation failed");
}
NSParameterAssert(status == kCVReturnSuccess && pxbuffer != NULL);
CVPixelBufferLockBaseAddress(pxbuffer, 0);
void *pxdata = CVPixelBufferGetBaseAddress(pxbuffer);
CGColorSpaceRef rgbColorSpace = CGColorSpaceCreateDeviceRGB();
CGContextRef context = CGBitmapContextCreate(pxdata, CGImageGetWidth(image),
CGImageGetHeight(image), 8, 4*CGImageGetWidth(image), rgbColorSpace,
kCGImageAlphaNoneSkipFirst);
NSParameterAssert(context);
CGContextConcatCTM(context, CGAffineTransformMakeRotation(0));
CGAffineTransform flipVertical = CGAffineTransformMake( 1, 0, 0, -1, 0, CGImageGetHeight(image) );
CGContextConcatCTM(context, flipVertical);
CGAffineTransform flipHorizontal = CGAffineTransformMake( -1.0, 0.0, 0.0, 1.0, CGImageGetWidth(image), 0.0 );
CGContextConcatCTM(context, flipHorizontal);
CGContextDrawImage(context, CGRectMake(0, 0, CGImageGetWidth(image),
CGImageGetHeight(image)), image);
CGColorSpaceRelease(rgbColorSpace);
CGContextRelease(context);
CVPixelBufferUnlockBaseAddress(pxbuffer, 0);
return pxbuffer;
}
- (UIImage*)image:(UIImage *)image scaleToSize:(CGSize)size{
UIGraphicsBeginImageContext(size);
[image drawInRect:CGRectMake(0, 0, size.width, size.height)];
UIImage* scaledImage = UIGraphicsGetImageFromCurrentImageContext();
UIGraphicsEndImageContext();
return scaledImage;
}
BTW，由于iOS 的权限升级，记得在info.plist里添加Privacy - Camera Usage Description的提示。不然会挂
到此，基本就结束啦！快拿你的App去拍张如哈士奇的照片，看看Label会显示出什么？
我也把代码放Github了，纯当娱乐有兴趣的同学也可以玩玩。
