Git 高效大文件清理工具 BFG

1. Introduction

• git删除提交时本质上是逻辑删除，文件依然保存repo里，存放于.git
• 传统 git 提供的 「filter-branch」option 命令慢、操作复杂，且可能出现复杂的问题（别问我，我也不知道历史出现过什么问题）
• git-filter-branch的另一种选择
• 核心功能是用来过滤删除大文件
• 比「filter-branch」更快：10-720x
• Java实现

2. Prepare

• 官网 提供jar包下载
• JRE，Java程序运行环境，Java官网
• alias，我的是Mac系统，为了使用方便，把bfg.jar加到环境变量里

  cd ~
  vim .bashrc
  ## 添加alias
  alias git-bfg="java -jar your-local-path/bfg.jar"
  

• git仓库逻辑删除、提交、合并至default（master）分支
  • 后面的操作是基于default分支进行的，如果在default分支上存在即将删除的文件，会处于保护模式，如下

    Protected commits
    -----------------
    These are your protected commits, and so their contents will NOT be altered:
    * commit xxxxxx (protected by 'HEAD')
    

  • 也可以通过指令解除保护模式（--no-blob-protection），但是我在测试时使用该方式会有问题，在后续对重新拉取的work-tree进行merge操作时会报错（解决，git pull origin master --allow-unrelated-histories）：fatal: refusing to merge unrelated histories。而先确保删除已经提交到master分支后，即可以不用关闭保护模式，同时也不会出现后续合并报错

3. How To Use

一个完整的例子

## 建一个mirro文件夹「mirror-dir」
mkdir mirror-dir
## clone repo mirror，好了之后当前dir下会出现一个文件夹「some-big-repo.git」
cd mirror-dir
git clone --mirror git://example.com/some-big-repo.git
## 物理删除你制定的文件，这里我以文件名指定（我使用git-bfg，还记得前面的alias吗）
## 原命令 java -jar your-local-path/bfg.jar --delete-files xxx.jpg some-big-repo.git
git-bfg --delete-files xxx.jpg some-big-repo.git
## physically delete the unwanted stuff
cd some-big-repo.git
git reflog expire --expire=now --all && git gc --prune=now --aggressive
## push到远程仓库
git push

其他方式

## 删除文件名为 id_rsa、id_dsa的文件
git-bfg --delete-files id_{dsa,rsa}  my-repo.git
## 删除大于50M的文件
git-bfg --strip-blobs-bigger-than 50M  my-repo.git
## 删除文件夹
git-bfg --delete-folders .git --delete-files .git  --no-blob-protection  my-repo.git

验证

• 验证哪些
  • 验证范围：branch（master、develop、feature）、tags
  • 验证手段：repo大小变化
  • 辅助：分支rewrite
• 验证过程
  • 查看

    ## 执行物理删除前后分别查看一次
    ## 查看文件大小
    du -h
    ## 查看分支
    git branch -vv
    

  • 结果
    • branch、tags均被rewrite，包括ref id
    • .git大小明显减小

注意

• 如果这个仓库执行删除操作之前已经有人开始使用了，那么执行完删除之后，需要重新clone，否则，已经clone的repo即不能push也不能pull
• 所以这种操作方式需要开发、测试、生产发布人员做一次重新clone的动作

4. Reference

• 官网
• github推荐的清理tools
• git filter-branch已经太老（12年前git 1.5.3引入）
• 使用BFG清除git仓库中的隐私文件或大文件