一行代码提取markdown文件中图片
在一个博客的诞生中 说到还有几件没完成的事情，其中一件就是要将markdown中的图片进行备份，这篇文章将介绍如何使用shell对md文件中图片链接进行解析并下载
本文记录了整个思考和实现的过程，有些啰嗦，不想看详细内容的可以直接用下面的命令行，如果是mac，需要安装gnu-sed并使用gsed代替自带的sed
grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed -E "s/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi" |xargs wget –c -N
image.png
- grep使用懒惰模式匹配图片链接
- sed将markdown图片链接替换成其中的URL
- wget下载
写了一个bash脚本，可以遍历文件夹中的md文件，对其中图片批量下载
md_img_dl
欢迎star
匹配图片链接的正则式
markdown中图片链接的格式还是比较清晰的
写出来的正则式为
\!\[.*\]\(.+\)
使用grep输出图片链接
随便找了一个md文件测试了下
grep "\!\[.*\]\(.+\)" 计算机基础-内存管理介绍.md
发现并没有出现预期的结果，查了下貌似grep的basic regular expression 不支持 + 这个元字符。所以需要使用extended regular expression ,用法为 egrep 或者 grep -E ,最后可用的命令为
grep -E "\!\[.*\]\(.+\)" 计算机基础-内存管理介绍.md
结果为
image.png
只匹配图片链接部分
上面匹配的链接部分是完整的，但是事实上我们需要的是url的部分，那么是否可以将url单独提出来呢？
这种看上去就需要用到正则表达式中的前后查找功能，开始修改正则式
(?<=\!\[.*\]\()(.+)(?=\))
解释下这个正则干了什么
(?<=\!\[.*\]\() 中 ?<= 表示这个子表达式是个向后查找表达式。表示对该表达式进行匹配但是不含在最后的结果，向后查找表达式匹配的内容位于整个匹配的前面，这个表达式 ) 这个是向前查找表达式，和向后查找类似，不过匹配的是字符串最后的位置，这里匹配图片链接最后的 )
这样就可以匹配到整个图片链接而最终结果中只包含图片url了
vscode中的搜索结果
image.png
使用grep进行匹配
grep -E "(?<=\!\[.*\]\()(.+)(?=\))" 计算机基础-内存管理介绍.md
结果打印出来是
grep: repetition-operator operand invalid
并不能成功的匹配url
原因可能是vscode太强大了，大部分正则表达式的实现是不支持可变长度的向后查找的，只能换其他方法了
使用sed进行匹配
sed是一个进行字符串替换的工具，因为上面的方式是因为向后查找的问题，所以我们不使用向后查找，而使用匹配整个图片链接的表达式，再用sed提取出其中代表url的子表达式替换整个的图片链接，以此完成只匹配图片url的目的
sed -E "s/(\!\[.*]\()(.+)(.*\))/\2/g" 计算机基础-内存管理介绍.md
s///g s表示替换模式，g表示匹配每一行有行首到行尾的所有字符，加g则一行有多个图片链接可以匹配处理，不加只能匹配第一个
\2 代表第二个子表达式，即用url部分替换整个
image.png
执行之后可以看到图片链接已经变成url了，但是其他没匹配到的内容还是输出出来了
只输出匹配内容
这里有两个思路，
思路是先使用grep先过滤一遍再使用sed替换，需要使用-o选项，只打印正则匹配的部分
grep -o "\!\[.*]\(.*\)" 计算机基础-内存管理介绍.md | sed -E "s/(\!\[.*]\()(.+)(.*\))/\2/g"
image.png
-n 和 p子命令一起使用，只打印匹配的内容sed -E -n "s/(\!\[.*]\()(.+)(.*\))/\2/gp" 计算机基础-内存管理介绍.md
之前对这个sed命令有个误解。
- -n 和p命令一起使用只能屏蔽不匹配的行，如果一行里有不匹配的内容还是会显示出来
所以单纯使用sed去过滤匹配内容看上去有点麻烦
懒惰匹配
最近在写脚本的时候发现markdown中图片链接是可以做为超链接的一部分，类似下面这种
[](页面url)
这种情况用上面的正则表达式因为使用了贪婪型元字符，匹配的内容是尽可能多的，它把下面的当做一个整体去匹配
](页面url)
这种情况向我们需要使用懒惰型元字符，将 * + 替换为 *? +?
sed是不支持懒惰匹配的，而我们先用grep过滤了一遍，grep可以支持懒惰匹配，需要加上-P选项
修改完命令为
grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed -E "s/(\!\[.*]\()(.+)(.*\))/\2/g"
下载图片
命令行中下载常用wget
将前面的输出通过管道重定向给wget作为参数，这里需要使用xargs
grep -oP "\!\[.*?]\(.*?\)" 计算机基础-内存管理介绍.md | sed -E "s/(\!\[.*]\()(.+)(.*\))/\2/g" |xargs wget –c -N
为了让wget在本地有图片的时候就不去下载，先加了 -N 选项，发现有些图片可以，有些图片还是会下载第二次，应该依赖于服务端的实现
再加上 -c 断点续传的选项，我这边使用的图床都满足了本地有图片就不下载的需求
第一次正常下载图片
image.png
第二次提示 304 Not Modified不用重新下载
image.png
小修小补
加上http/https的校验。以及图片格式校验，主要在sed这一步，加上i不区分大小写
sed -E "s/(\!\[.*]\()(https?:\/\/.+\.(png|jpe?g|webp|gif|svg))(.*\))/\2/gi"
