iOS-OC底层25:LLVM和自定义LLVM插件
1.概念
1.LLVM
LLVM是架构编译器(compiler)的框架系统,以c++编写而成,用于优化以任意程序语言编写的程序的编译事件(complie-time),链接时间(link-time),运行时间(run-time),以及空闲时间(idle-time),对开发者保持开放,并兼容以有脚本。LLVM计划启动于2000年,最初由美国UIUC大学的Chris Lattner博士主持开展。2006Chris Lattner加盟Apple Inc.并致力于LLVM在Apple 开发体系中的应用。Apple也是LLVM计划的主要资助者。
目前LLVM已经被苹果ios开发工具,Xilinx Vivado,Facebook,Google等各大公司采用。
2.传统编译器设计
image.png2.1.编译前端(Frontend)
编译器前端的任务是解析源代码。它会进行:词法分析,语法分析,语义分析,检查源代码是否是否存在错误,然后构建抽象语法树(Abstract Syntax Tree AST),LLVM的前端还会生成中间代码(intermediate representation IR).
2.2.优化器(Optimizer)
优化器负责进行各种优化。改善代码运行时间,例如消除冗余计算等。
2.3.后段(Backed)/代码生成器(CodeGenerator)
将代码映射到目标指令集。生成机器语言,并且进行机器相关代码优化。
3.iOS的编译器架构
Objective C/C/C++使用的编译器前端是Clang,Swift是Swift,后段都是LLVM.
image.png
2.LLVM的设计
当编译器决定支持多种源语言或多种硬件架构时,LLVM最重要的地方就来了。其他的编译器如GCC,它方法非常成功,但由于它是作为整体应用程序设计的,因此它们的用途受到很大的限制。
LLVM设计的最重要方面是,使用通用代码表示形式(IR),它是用来在编译器中表示代码的形式。所以LLVM可以以任何编程语言独立编写前端,并且可以为任意硬件架构独立编写后端。
image.png
2.1.Clang
Clang是LLVM项目中的一个子项目。它是基于LLVM架构的轻量级编译器,诞生之初是为了替代 GCC,提供更快的编译速度。它负责编译C C++ Objecte- C 语言的编译器。它属于整个LLVM架构中的编译器前端。对于开发者来说,研究 Clang可以给我们带来很多好处。
3.编译流程
通过命令可以打印源码的编译阶段。
clang -ccc-print-phases main.m
+- 0: input, "main.m", objective-c
+- 1: preprocessor, {0}, objective-c-cpp-output
+- 2: compiler, {1}, ir
+- 3: backend, {2}, assembler
+- 4: assembler, {3}, object
+- 5: linker, {4}, image
6: bind-arch, "x86_64", {5}, image
0:输入文件:找到源文件
1.预编译处理阶段:这个过程处理包括宏的替换,头文件的导入。
2.编译阶段:进行词法分析,语法分析,检查语法是否正确,最终生成IR.
3.后端:这里LLVM会通过一个一个的Pass去优化,每个Pass做一些事情,最终生成汇编代码。
4.生成目标文件
5.链接:链接需要的动态库和静态库,生成可执行文件。
6.通过不同的架构,生成对应的可执行文件。
3.1预处理阶段
执行如下命令
clang -E main.m
执行完毕可以看到头文件的导入和宏的替换。
3.2编译阶段
1.词法分析
预处理完成后就会进行词法分析,这里会把代码切成一个个Token,比如大小括号,等于号还有字符串。
clang -fmodules -fsyntax-only -Xclang -dump-tokens main.m
2.语法分析
词法分析完成之后就是语法分析,它的任务是验证语法是否正确。在词法分析的基础上将单词序列组合成各类语法短语,如程序,语句,表达式,等等,然后将所有节点组成抽象语法树(Abstract Syntax Tree AST),语法分析程序判断源程序在结构上是否正确。
clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
如果导入头文件找不到,那么可以指定SDK,
clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/ iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator12.2.sdk -fmodules -fsyntax-only -Xclang -ast-dump main.m
3.3生成中间代码IR(intermediate representation)
完成以上步骤后就开始生成中间代码IR了,代码生成器(Code Generation),会将语法树自顶向下遍历逐步翻译成LLVM IR。通过下面命令可以生成.ll的文本文件查看IR代码
clang -S -fobjc-arc -emit-llvm main.m
Objective C代码在这一步会进行runtime的桥接:property合成,ARC处理等。
IR的基本语法
@全局标识
%局部标识
alloca开辟空间
align内存对齐
i32 32个bit,4个字节
store写入内存
load读取内存
call调用函数
ret返回
IR的优化
LLVM的优化级别分别是-O0 -O1 -O2 -O3 -Os(第一个是大写英文字母O)
clang -Os -S -fobjc-arc -emit-llvm main.m -o main.ll
bitCode
xcode7以后开启bitCode苹果会做进一步的优化。生成.bc的中间代码。我们通过优化后的IR代码生成.bc代码
clang -emit-llvm -c main.ll -o main.bc
3.4生成汇编代码
我们通过最终生成的.bc或者.ll代码生成汇编代码。
clang -S -fobjc-arc main.bc -o main.s
clang -S -fobjc-arc main.ll -o main.s
生成汇编代码也可以进行优化
clang -Os -S -fobjc-arc main.m -o main.s
3.5生成目标文件(汇编器)
目标文件的生成,是汇编器以汇编代码作为输入,将汇编代码转换为机器代码,最后输出目标文件(object file)
clang -fmodules -c main.s -o main.o
通过nm命令,查看下main.o中的符号。
$xcrun nm -nm main.o
(undefined) external _printf
0000000000000000 (__TEXT,__text) external _test
000000000000000a (__TEXT,__text) external _main
_printf是一个undefined external的
undefined表示在当前文件暂时找不到符号_printf
external表示这个符号是外部可以访问的。
3.6生成可执行文件(链接)
连接器把编译产生的.o文件和(.dylib .a)文件,生成一个mach-o文件
clang main.o -o main
查看链接之后的符号
xcrun nm -nm main
(undefined) external _printf (from libSystem)
(undefined) external dyld_stub_binder (from libSyste 0000000100000000 (__TEXT,__text) [referenced dynamically] external __mh_execute_header
000000100000f6d (__TEXT,__text) external _test
000000100000f77 (__TEXT,__text) external _main
4.开发插件
4.1.LLVM下载
由于国内的网络限制,我们需要借助镜像下载LLVM的源码https://mirror.tuna.tsinghua.edu.cn/help/llvm/
4.1.1下载LLVM项目
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/llvm.git
4.1.2.在LLVM的tools目录下载Clang
cd llvm/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang.git
4.1.3.在LLVM的projects目录下载compiler-rtlibcxxlibcxxabi
cd ../projects
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/compiler-rt.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxx.git
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/libcxxabi.git
4.1.4.在Clang的tools下安装extra工具
cd ../tools/clang/tools
git clone https://mirrors.tuna.tsinghua.edu.cn/git/llvm/clang-tools-extra.git
4.2.LLVM编译
由于最新的LLVM只支持cmake来编译了,我们还需要安装cmake。
4.2.1.安装cmake
查看brew是否安装cmake如果安装就跳过下面步骤
brew list
image.png
如果没有安装cmake
brew install cmake
4.2.2.编译LLVM
mkdir build_xcode
cd build_xcode
cmake -G Xcode ../llvm
使用Xcode编译
image.png
用Xcode打开LLVM.xcodeproj
选择手动创建Schemes
image.png
选择clang和clangtooling两个Schemes进行编译
image.png
4.3.创建插件
4.3.1在/llvm/tools/clang/tools目录下新建插件MyPlugin
image.png
修改/llvm/tools/clang/tools目录下的CMakeLists.txt文件并新增
add_clang_subdirectory(MyPlugin)
4.3.2.配置MyPlugin文件
在MyPlugin文件下新建一个名为MyPlugin.cpp和CMakeLists.txt文件
在CMakeLists.txt文件中写上
add_llvm_library( MyPlugin MODULE BUILDTREE_ONLY MyPlugin.cpp)
使用cmake重新生成Xcode项目,在build_xcode中
cmake -G Xcode ../llvm
4.3.3.添加MyPlugin的Schemes
image.png
4.4.编写插件代码
image.png在cpp文件里编写插件代码
#include <iostream>
#include "clang/AST/AST.h"
#include "clang/AST/DeclObjC.h"
#include "clang/AST/ASTConsumer.h"
#include "clang/ASTMatchers/ASTMatchers.h"
#include "clang/Frontend/CompilerInstance.h"
#include "clang/ASTMatchers/ASTMatchFinder.h"
#include "clang/Frontend/FrontendPluginRegistry.h"
using namespace clang;
using namespace std;
using namespace llvm;
using namespace clang::ast_matchers;
namespace MyPlugin {
class MyMatchCallBack: public MatchFinder::MatchCallback {
private:
CompilerInstance &CI;
bool isUserSourceCode(const string fileName){
if (fileName.empty()) return false;
if (fileName.find("/Applications/Xcode.app/Contents") == 0) {
return false;
}
return true;
}
bool isShouldUseCopy(const string typeStr){
if (typeStr.find("NSString") != string::npos||
typeStr.find("NSArray") != string::npos||
typeStr.find("NSDictionary") != string::npos
) {
return true;
}
return false ;
}
public:
MyMatchCallBack(CompilerInstance &CI):CI(CI){}
void run(const MatchFinder::MatchResult &Result) {
const ObjCPropertyDecl*propertyDecl = Result.Nodes.getNodeAs<ObjCPropertyDecl >("objcPropertyDecl");
//获取文件名称
string fileName = CI.getSourceManager().getFilename(propertyDecl->getSourceRange().getBegin());
if (propertyDecl&& isUserSourceCode(fileName)) {
string typeStr = propertyDecl->getType().getAsString();
ObjCPropertyDecl::PropertyAttributeKind attributeKind = propertyDecl->getPropertyAttributes();
if (isShouldUseCopy(typeStr) && !(attributeKind &ObjCPropertyDecl::OBJC_PR_copy)) {
DiagnosticsEngine &diag = CI.getDiagnostics();
//Report 报告
diag.Report(propertyDecl->getBeginLoc(),diag.getCustomDiagID(DiagnosticsEngine::Warning, "%0这个地方推荐使用copy!!"))<<typeStr;
}
}
}
};
class MyConsumer:public ASTConsumer {
private:
//AST节点过滤器
MatchFinder matcher;
MyMatchCallBack callback;
public:
MyConsumer(CompilerInstance &CI):callback(CI){
//添加matchFinder
//回调类是MyMatchCallBack,回调到run方法中
matcher.addMatcher(objcPropertyDecl().bind("objcPropertyDecl"), &callback);
}
//解析完顶级的声明就回调一次
bool HandleTopLevelDecl(DeclGroupRef D) {
return true;
}
//整个文件都解析完成的回调
void HandleTranslationUnit(ASTContext &Ctx) {
cout<<"文件解析完毕!"<<endl;
matcher.matchAST(Ctx);
}
};
class MYASTAction:public PluginASTAction {
public:
bool ParseArgs(const CompilerInstance &CI, const std::vector<std::string> &arg) {
return true;
}
unique_ptr<ASTConsumer> CreateASTConsumer(CompilerInstance &CI, StringRef InFile) {
return unique_ptr<MyConsumer>(new MyConsumer(CI));
}
};
}
//注册插件
static FrontendPluginRegistry::Add<MyPlugin::MYASTAction> HK("MyPlugin","this is MyPlugin");
4.5.测试插件
自己编译的clang文件路径 -isysroot /Applications/Xcode.app/Contents/Deve loper/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulat or12.2.sdk/ -Xclang -load -Xclang 插件(.dylib)路径 -Xclang -add-plugin
-Xclang 插件名 -c 源码路径
/Users/MacW/Desktop/MyPriject/LLVMLearn/build_xcode/Debug/bin/clang -isysroot /Applications/Xcode.app/Contents/Developer/Platforms/iPhoneSimulator.platform/Developer/SDKs/iPhoneSimulator14.0.sdk/ -Xclang -load -Xclang /Users/MacW/Desktop/MyPriject/LLVMLearn/build_xcode/Debug/lib/MyPlugin.dylib -Xclang -add-plugin -Xclang MyPlugin -c ./ViewController.m
./ViewController.m:13:1: warning: NSString *这个地方推荐使用copy!!
@property(nonatomic, strong) NSString* name;
^
./ViewController.m:14:1: warning: NSArray *这个地方推荐使用copy!!
@property(nonatomic, strong) NSArray* arrs;
4.6.Xcode集成插件
4.6.1加载插件
打开测试项目,在Build Settings -> Other C Flags添加如下内容
-Xclang -load -Xclang (.dylib)动态库路径 -Xclang -add-plugin -Xclang MyPlugin
//我项目的设置信息
-Xclang -load -Xclang /Users/MacW/Desktop/MyPriject/LLVMLearn/build_xcode/Debug/lib/MyPlugin.dylib -Xclang -add-plugin -Xclang MyPlugin
image.png
4.6.2设置编译器
由于Clang插件需要使用对应的版本加载,如果版本不一致会导致编译错误,会出现如下图所示。
image.png
在Build Settings栏目中新增两项用户定义的设置
image.png
分别是CC和CXX
CC对应的是自己编译的clang的绝对路径
CXX对应的是自己编译的clang++的绝对路径
image.png
接下来在Build Settings栏目中搜索index,将Enable Index-Wihle-Building FunctionalityDefault改为NO
image.png
我们做出插件的效果如下:
image.png