linux三剑客/代码屠夫sed，grep，xargs初尝试
最近公司项目代码从gogs迁移到gitlab上，项目中大量的pod子组建里的podspec配置，git配置，还有各种脚本里的服务器地址都需要替换。所以就写了python脚本全局替换。无意中发现前同事遗留下来的shell脚本，看上去比python简洁得多，其中一个sed命令引起我的注意，于是研究了一下，确实强大。本文主要记录使用sed，grep，xargs工具由简到繁最终解决问题的过程，以及自我总结。
sed简介
SED的英文全称是 Stream EDitor，它是一个简单而强大的文本解析转换工具，在1973-1974年期间由贝尔实验室的Lee E. McMahon开发，今天，它已经运行在所有的主流操作系统上了。
SED的典型用途
- 文本替换
- 选择性的输出文本文件
- 从文本文件的某处开始编辑
- 无交互式的对文本文件进行编辑等
示例(Example)
- 匹配链接
sed -n '/http:\/\/.*\/[a-zA-Z]*\.git/ p' UpdatePodScript.sh
在文件UpdatePodScript.sh匹配
项目的git地址,p命令是指打印匹配结果，-n指禁止输入文件读入sed模式空间时默认输出，避免重复输出，一般-n与p同时使用。
- 匹配目标(需要替换)部分
sed -n 's|http:\/\/\(.*\)\/[a-zA-Z]*\.git|\1| p' UpdatePodScript.sh
// 匹配完整的git链接
sed -n 's/\(http:\/\/\)\(.*\)\(\/[a-zA-Z]*\.git\)/\1GogsAddress\3/ p' UpdatePodScript.sh
// 用|，@，^，!进行分隔，去除\转义符，便于阅读
sed -n 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@ p' LYHttpManager.podspec
括号内就是你需要替换的内容，
\1是括号内内容的别称，如果有多个括号对应别称就是顺延\1、\2、\3、... 注意这里括号需要转义\(xxx\)。
- 匹配并替换目标部分
sed -i '' 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@g' LYHttpManager.podspec
-i:直接修改读取的文件内容，而不是输出到终端。
'':取消因为mac系统对sed命令要求的强制备份。
s:替换命令，格式'/s/oldstring/newstring',将oldstring替换成newstring，默认只替换文件里的第一个oldstring。
g:替换文件里的全部oldstring。
这里有一个问题，sed正则是不是不支持
?,+，我试过匹配不出来。
- 匹配替换grep搜索的所有结果（最终命令）
grep -rl 'GitLabAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@\(http://\)\(.*\)\(/[a-zA-Z]*\(\.git\)\{0,1\}\)@\1GogsAddress\3@g'
// 因为是1对1的替换，所以不需要正则匹配，把正则换成链接字符串。
grep -rl 'GogsAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@GogsAddress@GitLabAddress@g'
-r:遍历目录及所有子目录。
-l:只显示符合条件的文件名(包含路径)
整个命令通过|分为三部分：
- 获取包含'GogsAddress'字符串的所有文件名。
- 将路径中空格' '转义成'\ '.
- 将'GogsAddress'替换成'GitLabAddress'。
sed与python
- sed
grep -rl 'GogsAddress' . | sed 's/ /\\ /g' | xargs sed -i '' 's@GogsAddress@GitLabAddress@g'
- python
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import os
import re
import sys
# profile文件目录
# ROOT_PATH = '/Users/wans/Documents/iOSUser/Code/LYLawyerPlatform_User'
GITLAB_HOST_ADDRESS = "GitLabAddress"
ROOT_PATH = os.getcwd()
def replace_address(address):
fo = open(address,'r+')
content = fo.read()
pattern = re.compile(r'http://(.+)/(\w+)(\.git)*')
match = pattern.search(content)
if match:
old_module_address = match.group(1)
content = content.replace(old_module_address,GITLAB_HOST_ADDRESS)
fo = open(address, 'w')
fo.write(content)
fo.flush()
if fo:
fo.close()
def main():
files = os.listdir(ROOT_PATH)
for subdir in files:
subdir = os.path.join(ROOT_PATH,subdir)
if os.path.isdir(subdir):
module_files = os.listdir(subdir)
# 遍历子项目
for module_subdir in module_files:
module_subdir = os.path.join(subdir,module_subdir)
if module_subdir.endswith('.git'):
module_dir = os.path.join(module_subdir,"config")
print module_dir
if os.path.exists(module_dir):
replace_address(module_dir)
if module_subdir.endswith('Example'):
module_dir = os.path.join(module_subdir,"Podfile")
print module_dir
if os.path.exists(module_dir):
replace_address(module_dir)
if module_subdir.endswith('.podspec'):
print module_subdir
replace_address(module_subdir)
if module_subdir.endswith('UpdatePodScript.sh'):
print module_subdir
replace_address(module_subdir)
if __name__ == '__main__':
main()
没有比较两个工具好坏的意思，只是直观比较而已😄。
最终一行命令解决问题，而我写的python脚本几十行，重点是sed只在终端运行就可以，只在终端运行就可以，只在终端运行就可以，所以称sed为代码屠夫也不为过。虽然sed命令简洁，但是不太明了，光那转义符都看得头晕，可读性不高。but，我还是倾向于用sed解决问题，恩，没有为什么。😄
以上
完全现学现用，见笑了，就算抛砖引玉吧。
