(三) Mach-O 文件的静态链接

2020-08-13  本文已影响0人  Tenloy 
# 链接概述
# 静态链接
  ## 链接器
  ## 静态链接过程
    ### 两步链接
    ### 第一步 空间与地址分配
    ### 示例
    ### 说明：符号表中符号的几种类型
    ### 第二步 符号解析与重定位
  ## 静态库链接
# 参考链接

# 链接概述

链接通常是一个让人比较费解的过程，为什么汇编器不直接输出可执行文件而是输出一个目标文件呢？链接过程到底包含了什么内容？为什么要链接？

很久以前，人们编写程序时，将所有源代码都写在同一个文件中，发展到后来一个程序源代码的文件长达数百万行，以至于人们没有能力维护这个程序。

后来，出现了模块化。现代的大型软件往往拥有成千上万个模块，这些模块之间相互依赖又相对独立。这种按照层次化及模块化存储和组织源代码有很多好处，比如代码更容易阅读、理解、重用，每个模块可以单独开发、编译、测试，改变部分代码不需要编译整个程序等。

在一个程序被分割成多个模块以后，这些模块之间最后如何组合形成一个单一的程序是须解决的问题。模块之间如何组合的问题可以归结为模块之间如何通信的问题，最常见的属于静态语言的C/C++模块之间通信有两种方式，一种是模块间的函数调用，另外一种是模块间的变量访问。函数访问须知道目标函数的地址，变量访问也须知道目标变量的地址，所以这两种方式都可以归结为一种方式，那就是模块间符号的引用。模块间依靠符号来通信类似于拼图版，定义符号的模块多出一块区域，引用该符号的模块刚好少了那一块区域，两者一拼接刚好完美组合。这个模块的拼接过程就是：链接

综上所述，链接的主要内容就是把各个模块之间相互引用的部分都处理好，使得各个模块之间能够正确地衔接。现代的高级语言的诸多特性和功能，使得编译器、链接器更为复杂，功能更为强大，但从原理上来讲，链接器的工作无非就是把一些指令对其他符号地址的引用加以修正。链接过程主要包括了地址和空间分配（Address and StorageAllocation）、符号决议（Symbol Resolution）和重定位 （Relocation）等这些步骤。（符号可以理解为函数名和变量名）

链接分为静态链接、动态链接。本篇只讲静态链接及静态链接器。

# 静态链接

## 链接器

lld链接器是LLVM的一个子项目，旨在为LLVM开发一个内置的，平台独立的链接器，去除对所有第三方链接器的依赖。在2017年5月，lld已经支持ELF、PE/COFF、和Mach-O。在lld支持不完全的情况下，用户可以使用其他项目，如 GNU ld 链接器。

lld支持链接时优化。当LLVM链接时优化被启用时，LLVM可以输出bitcode而不是本机代码，而本机代码生成由链接器优化处理。

## 静态链接过程

“链接器为目标文件分配地址和空间”这句话中的“地址和空间”其实有两个含义：

对于有实际数据的段，比如“.text”和“.data”来说，它们在文件中和虚拟地址中都要分配空间，因为它们在这两者中都存在；而对于“.bss”这样的段来说，分配空间的意义只局限于虚拟地址空间，因为它在文件中并没有内容。

事实上，我们在这里谈到的空间分配只关注于虚拟地址空间的分配，因为这个关系到链接器后面的关于地址计算的步骤，而可执行文件本身的空间分配与链接过程关系并不是很大。

### 两步链接

相似段合并

现在的链接器空间分配的策略基本上都会使相似段(Section)合并，避免由于每个section都须要有一定的地址和空间对齐要求(x86中，section的装载地址和空间的对齐单位是页，也就是4096字节)而造成的空间浪费，使用这种方法的链接器一般都采用一种叫两步链接（Two-pass Linking）的方法。也就是说整个链接过程分两步。

### 第一步 空间与地址分配

扫描所有的输入目标文件，并且获得它们的各个段的长度、属性和位置，并且将输入目标文件中的符号表中所有的符号定义和符号引用收集起来，统一放到一个全局符号表。这一步中，链接器将能够获得所有输入目标文件的段长度，并且将它们合并，计算出输出文件中各个段合并后的长度与位置，并建立映射关系。

应该说地址与空间分配，地址：分配到哪；空间：分配多大。链接器的地址与空间分配，既是指在可执行文件中的分配，也指在虚拟地址空间中的分配。

我们在这里谈到的空间分配只关注于虚拟地址空间的分配，因为这个关系到下一步重定位中，关于地址计算的步骤(重定位中，地址修正是修正为符号的虚拟地址空间中的地址)，而且可执行文件本身的空间分布、分配与链接过程关系并不是很大。

这一步过程：

这些信息在LC_SEGMENT_64中看到：

struct segment_command_64 { /* for 64-bit architectures */
    uint32_t    cmd;          / Load Command类型，这里LC_SEGMENT_64代表将文件中64位的段映射到进程的地址空间。LC_SEGMENT_64和LC_SEGMENT的结构差别不大 /
    uint32_t    cmdsize;      / 代表Load commands的大小 /
    char        segname[16];  / 16字节的段名称 /
    uint64_t    vmaddr;       / 段映射到虚拟地址中的内存起始地址 /
    uint64_t    vmsize;       / 段映射到虚拟地址中的内存大小 /
    uint64_t    fileoff;      / 段在当前架构(MachO)文件中的偏移量，如果是胖二进制文件，也指的是相对于当前MachO文件的偏移 /
    uint64_t    filesize;     / 段在文件中的大小 /
    vm_prot_t    maxprot;     / 段页面的最高内存保护 /
    vm_prot_t    initprot;    / 初始内存保护 /
    uint32_t    nsects;       / segment包含的section的个数 /
    uint32_t    flags;        / 段页面标志 /
};

### 示例

以下示例来自iOS程序员的自我修养-MachO文件静态链接（三），过程很简单，就是对于目标文件、可执行文件的MachOView的分析，目标文件、可执行文件是链接过程的输入、输出，通过对两个文件中的符号表Symbols、代码段__TEXT.__text来看一下引用符号的空间与地址分配、地址绑定过程。关于目标文件、可执行文件的生成上一篇文章已经讲过，本篇文章就直接看分析结果。

// a.c 文件
extern int global_var;
void func(int a);
int main() {
    int a = 100;
    func(a+global_var);
    return 0;
}

=========================

// b.c 文件
int global_var = 1;
void func(int a) {
    global_var = a;
}

=========================

//生成a.o b.o
xcrun -sdk iphoneos clang -c a.c b.c -target arm64-apple-ios12.2

// a.o和b.o链接成可执行文件ab
xcrun -sdk iphoneos clang a.o b.o -o ab -target arm64-apple-ios12.2

请注意，生成的a.o和b.o目标文件，都是基于arm64。a.o和b.o目标文件通过静态链接后生成可执行文件ab。（由于基于arm64，其实链接过程，也有动态链接库libSystem.B.dylib(系统库)参与,但本文忽略动态链接的参与，只讨论静态链接）。

在可执行文件ab中，之所以__TEXT.text段的虚拟地址为0x100000000，而在文件中的位置(偏移)为0，是因为在链接生成可执行文件时，产生的一个特殊的段__PAGEZERO，这个段，在可执行文件中不占空间File Offest、File Size都为0，而在虚拟地址空间中，占用了很大的空间，VMSize为0x100000000(4G).

在进入重定位之前，这里还需要再介绍一下符号表相关的知识点：符号表的加载命令、符号表的结构。

符号表的加载命令
//定义在<mach-o/loader.h>中
struct symtab_command {
    uint32_t    cmd;        / 加载命令的前两个参数都是cmd和cmdsize，cmd为加载命令的类型，符号表对应的值为LC_SYMTAB /
    uint32_t    cmdsize;    / symtab_command结构体的大小 /
    uint32_t    symoff;     / 符号表在文件中的偏移（位置） /
    uint32_t    nsyms;      / 符号表入口的个数 /
    uint32_t    stroff;     / 字符串表在文件中的偏移(位置) /
    uint32_t    strsize;    / 字符串表的大小(字节数) /
};
符号表

符号表也是一个数组，里面元素是结构体nlist_64。符号表示意图见下方。

struct nlist_64 {
    union {
        uint32_t n_strx;   / 字符串表的index，可以找到符号对应的字符串（index into the string table） /
    } n_un;                / 历史原因，忽略 /
    uint8_t  n_type;       / type flag, see below /
    uint8_t  n_sect;       / 符号表的编号或NO_SECT（section number or NO_SECT） /
    uint16_t n_desc;       / see <mach-o/stab.h> */
    uint64_t n_value;      / 符号的地址值（value of this symbol (or stab offset)） /
};

其它先不管，要是有兴趣，可以去头文件<mach-o/nlist.h>查看。
左侧是a.o的符号表，右侧是可执行文件的(全局)符号表

相比于a.o、b.o目标文件，此时，可执行文件ab中的全局符号表中，每个符号都有了对应的(虚拟空间)地址，这是重定位的前提。

### 说明：符号表中符号的几种类型 引自-符号和符号表

每个可重定位模块都有一个符号表，它包含了在本模块中定义和引用的符号，有三种链接器符号：

类型 特征 举例
Global symbols（模块内部定义的全局符号） 由本模块定义并能被其他模块引用的符号 例如，非static C函数和非 static的C全局变量（指不带static的全局变量）
External symbols（外部定义的全局符号） 由其他模块定义并被本模块引用了的全局符号 例如，在本模块中extern声明的其它模块中定义的符号
Local symbols（本模块的局部符号） 仅由本模块内定义和引用的本地符号 例如，在本模块中定义的带static 的C函数和全局变量。

注意：链接器局部符号

### 第二步 符号解析与重定位

使用上面第一步中收集到的所有信息，读取输入文件中段的数据、重定位信息，并且进行符号解析与重定位、调整代码中的地址等。事实上第二步是链接过程的核心，特别是重定位过程。

符号解析

符号解析：解析每个模块中引用的符号，将其与某个目标模块中的符号定义建立关联。

符号解析时会选择一个确切的定义，即每个全局符号仅占一处存储空间。

编码建议：

符号决议有时候也被叫做符号绑定（Symbol Binding）、名称绑定 （Name Binding）、名称决议（Name Resolution），甚至还有叫做地址绑定（Address Binding）、指令绑定（Instruction Binding）的，大体上它们的意思都一样，但从细节角度来区分，它们之间还是存在一定区别的，比如“决议”更倾向于静态链接，而“绑定”更倾向于动态链接，即它们所使用的范围不一样。在静态链接，我们将统一称为符号决议。

符号解析完成，全局符号表中符号都有对应的定义处的地址。接下来就是重定位工作：根据重定位表Relocations中符号信息，在全局符号表Symbols中找到符号的定义地址，然后找到符号在代码段__TEXT.text中的使用地址，进行指令的地址修正。

重定位

假设有A、B两个目标文件，B中引用了A中的一个变量并对其进行赋值，对应AT&T汇编为movl $0x2a, var。

由于在编译目标文件B的时候，编译器并不知道变量var的目标地址，所以编译器在没法确定地址的情况下，将这条mov指令的目标地址置为 0，等待链接器在将目标文件A和B链接起来的时候再将其修正。我们假设A和B链接后，变量var的地址确定下来为0x1000，那么链接器将会把这个指令的目标地址部分修改成0x10000。这个地址修正的过程也被叫做重定位（Relocation），每个要被修正的地方叫一个重定位入口（Relocation Entry）。重定位所做的就是给程序中每个这样的绝对地址引用的位置“打补丁”，使它们指向正确的地址。

从上面的示例中，可以看到：a文件使用了B文件中的global_var和func两个符号，那是怎么知道这两个符号的地址呢？

在a.o目标文件中：

在链接后的ab可执行文件中：

可以看到global_var（地址0x100008000，指向data段，值为1）和func（地址0x100007f90，指向func函数地址）都是真正的地址。

链接器是怎么知道a模块里哪些指令要被调整，这些指令如何调整。事实上a.o里，有一个重定位表，专门保存这些与重定位相关的信息。而且每个section的section_64的header的reloff（重定位入口的文件偏移，即在重定位表里的偏移）和nreloc（几个需要重定位的符号），让链接器知道a模块的哪个section里的指令需要调整。

struct section_64 { 
    char        sectname[16];   / Section 的名字 /
    char        segname[16];    / Section 所在的 Segment 名称 /
    uint64_t    addr;           / Section 映射到虚拟地址的偏移（所在的内存地址） /
    uint64_t    size;           / Section 的大小 /
    uint32_t    offset;         / Section 在当前架构文件中的偏移 /
    uint32_t    align;          / Section 的内存对齐边界 (2 的次幂) /
    uint32_t    reloff;         / 重定位入口的文件偏移 /
    uint32_t    nreloc;         / 重定位入口的数目 /
    uint32_t    flags;          / Section标志属性 /
    uint32_t    reserved1;      / 保留字段1 (for offset or index) /
    uint32_t    reserved2;      / 保留字段2 (for count or sizeof) /
    uint32_t    reserved3;      / 保留字段3 /
};
重定位表

重定位表可以认为是一个数组，数组里的元素为结构体relocation_info。

//定义在<mach-o/reloc.h>里
struct relocation_info {
   int32_t      r_address;  / 重定位的符号在自己所在section中的偏移(地址)；offset in the section to what is being relocated /
   uint32_t     r_symbolnum:24, / 如果r_extern == 0(外部符号)，则表示符号在符号表中的索引，如果r_extern == 0，则表示section的序数；symbol index if r_extern == 1 or section ordinal if r_extern == 0 /
                r_pcrel:1,  /* was relocated pc relative already */
                r_length:2, / 重定位符号的长度；0=byte, 1=word, 2=long, 3=quad /
                r_extern:1, / 不包含引用符号的值(即为外部符号)；does not include value of sym referenced /
                r_type:4;   /* if not 0, machine specific relocation type */
};
r_address和r_length足够让我们知道要重定位的字节了；

可以看出：

## 静态库链接

一个静态库可以简单看成一组目标文件的集合，即多个目标文件经过压缩打包后形成的一个文件。

静态库链接：是指自己的模块与静态库里的某个模块（用到的某个目标文件，或多个目标文件）链接成可执行文件。其实和静态链接概念一样，只是这里，我们这里取了静态库里的某个/多个目标文件与我们自己的目标文件一起作为输入。

Q：为什么静态运行库里面一个目标文件只包含一个函数？比如libc.a静态库里面printf.o只有printf()函数、strlen.o只有strlen()函数，为什么要这样组织？

A：我们知道，链接器在链接静态库的时候是以目标文件为单位的。比如我们引用了静态库中的printf()函数，那么链接器就会把库中包含printf()函数的那个目标文件链接进来，如果很多函数都放在一个目标文件中，很可能很多没用的函数都被一起链接进了输出结果中。由于运行库有成百上千个函数，数量非常庞大，每个函数独立地放在一个目标文件中可以尽量减少空间的浪费，那些没有被用到的目标文件（函数）就不要链接到最终的输出文件中。

# 参考链接

上一篇 下一篇

猜你喜欢

热点阅读