TensorFlow + YOLO + React Native
看过美剧《硅谷》的同学都知道人工智能识别热狗曾是硅谷最赚钱的技术之一。去年 HBO 发布了官方的 Not Hotdog 应用，支持 iOS 和 Android 平台，据说是用 TensorFlow、Keras 和 React Native 打造的，但是源码没有公开。
最近入门了机器学习的一些边边角角，仿制了一个 Not Hotdog 应用。代码主要使用 React Native 和 TensorFlow Mobile ，训练模型使用 Yolo v2 Tiny。
源代码
https://github.com/shaqian/Not-Hotdog
效果图
iOS
是时候表演真正的技术了 —— 画框
Android
建模过程
1. 制作数据集
偷懒用了 COCO 2014 数据集。COCO 一共有 80 种物体类别，其中一个就是热狗 (hot dog)。我写了个脚本导出所有的热狗图片（共 1200 多张）并生成 yolo 格式的标注：
https://github.com/shaqian/Not-Hotdog/blob/master/yolo/coco2yolo.py
2. 训练 Yolov2 Tiny
- 首先从预训练的 yolov2 tiny 模型 提取初始 weights：
darknet.exe partial yolov2-tiny.cfg yolov2-tiny.weights yolov2-tiny.conv.13 13
-
然后整理数据集，主要是生成 obj.data 和 obj.names 文件，可参考：
https://timebutt.github.io/static/how-to-train-yolov2-to-detect-custom-objects/ -
修改 .cfg 文件：
将原本的 80 个类别改成 1 个类别。.cfg 文件和初始 weights 请见 GitHub repo 。 -
最后训练模型：
darknet.exe detector train data\obj.data yolov2-tiny-hotdog.cfg yolov2-tiny.conv.13
3. 将 weights 转为 TensorFlow protobuf (.pb) 格式
我用的 darkflow 转换：
flow --model ../yolov2-tiny-hotdog.cfg --load ../yolov2-tiny-hotdog_final.weights --savepb
4. 量化
转换后的 .pb 约有 44MB。用 TensorFlow repo里面的 quantization 脚本 压缩一下，体积可以减小到 11MB。
python3 tensorflow/tools/quantization/quantize_graph.py --input=yolov2-tiny-hotdog.pb --output_node_names=output --output=quantized_yolov2-tiny-hotdog.pb --mode=weights
制作应用
React Native 的 Native 模块
出于方便，调用 TensorFlow Mobile 接口是自己实现的 native 模块。
-
iOS 端的实现代码在 ./react-native-NotHotdog/ios/NotHotdog/TensorflowManager.mm
-
Android 端的实现代码在 ./react-native-NotHotdog/android/app/src/main/java/com/nothotdog/tensorflowmanager
参考了以下 repo 特此感谢：
依赖库一览
- TensorFlow Mobile: iOS, Android
- react-native-camera
- react-native-share
- react-native-fs
- react-native-svg
- react-native-animatable
安装依赖
- iOS 的 TensorFlow Mobile 用 pod 安装：
cd react-native-NotHotdog/ios
pod install
- 安装其他依赖：
cd react-native-NotHotdog/
npm install
运行
iOS
- 模拟器：
react-native run-ios
-
真实设备：
Android
由于 react-native-camera 的一些问题，Android 端拍照要比 iOS 慢很多，有时间可以改进一下。
-
GitHub repo 里的 hotdog.apk 可直接安装。
-
模拟器：
react-native run-android
-
真实设备：
