下载某乎专栏文章并存为markdown
2023-02-13 本文已影响0人
产品经理不是经理啊
前言
由于在2月13日，Autojs的作者发出公告将审查所有代码，并在最新版删除了无障碍截图、通知监听等功能，在打开所有版本都会提示强制更新，之前关注的公众号都连夜删除了教程文章，在搜索时，发现教程作者的文章在其它平台还未删除，为了保险起见，备份一下他的文章。由于他写的文章很多，文章将通过爬虫的方式去获取并保存为markdown文件。
参考文章：
实现思路
- 下载知乎专栏文章存入html
- 将所有html转换为md
- 正则提取markdown中的图片链接
- 下载图片至本地
- 上传图片至码云图床
- 使用新图片链接替换原来的图片链接
下载知乎专栏文章存入html
在浏览器按F12打开调试模式，访问专栏链接，查看网络请求，可以发现这个就是我们想要的内容。某乎比较友好，返回的是json，直接json解析即可。
- 实现代码
def downloadZhuanLanToLocalHtml(zhuanLan,htmlSavePath):
"""
下载知乎专栏文章存入html
:param zhuanLan: 专栏地址 https://www.zhihu.com/column/c_1341718720926887936 地址是c_1341718720926887936
:htmlSavePath: html文件存放路径
"""
# 获取总的文章数量
urlIndex=f"https://www.zhihu.com/api/v4/columns/{zhuanLan}/items"
res=requests.get(urlIndex,headers=headers)
# 知乎比较友好，返回的是json
totals=json.loads(res.text)["paging"]["totals"]
totalPage=totals//100+1 # 获取总页数
for i in range(totalPage):
# limit最大是100,超过会报错
urlpage = 'https://www.zhihu.com/api/v4/columns/{}/items?limit={}&offset={}'.format(zhuanLan, 100, 100*i)
respage = requests.get(urlpage, headers=headers)
data=json.loads(respage.content)['data']
for article in data:
title=article["title"]
content=article["content"]
# 替换标题中的特殊符号，不然创建文件会报错
with open(f'{htmlSavePath}\\{title.replace("?","").replace("？","")}.html',"w",encoding="utf-8") as f:
f.write(content)
print("下载完成")
将所有html转换为md
将保存的html转换为markdown，我们使用第三方库html2text，在使用前请先安装pip install htm2text。
def convertHtml2Markdow(htmlSavePath,mdSavePath):
'''
将所有html转换为md
: htmlSavePath: 存放html文件的文件夹路径
: mdSavePath: 存放markdown文件的文件夹路径
'''
for file in os.listdir(htmlSavePath):
# 获取文件名称
filename=os.path.basename(file).split(".")[0]
text_maker = ht.HTML2Text()
# 读取html格式文件
with open(htmlSavePath+"/"+file, 'r', encoding='UTF-8') as f:
htmlpage = f.read()
# 处理html格式文件中的内容
text = text_maker.handle(htmlpage)
# 写入处理后的内容
with open(mdSavePath+"/"+filename+".md", 'w', encoding='UTF-8') as f:
f.write(text)
提取markdown文件中的图片链接
获取md文件中的链接，采用正则方式来提取。
def lambdaToGetMarkdownPicturePosition(content):
"""
从markdownd代码中提取图片链接
:param content:
:return:
"""
# 该正则只适合某乎的文章，其它的请自行调整
pattern = re.compile(r"!\[.*?\]\([https|http].*?source=.*?\)")
resultList = pattern.finditer(content)
urlList = []
for item in resultList:
curStr = item.group()
curStr = curStr.split('(')[1]
curStr = curStr.strip(')')
urlList.append(curStr)
print(curStr)
return urlList
下载图片至本地
将获取到的图片链接，先下载到本地，同时保存号md文件中图片链接和本地图片路径的映射关系，方便后文替换为新的图床的图片链接。
def downloadPic(urls,picSavePath):
'''
下载图片至本地
: urls: 图片路径
：picSavePath: 本地存放图片的文件夹
'''
picMap={}
for url in urls:
res=requests.get(url)
if res.status_code==200:
savePicName=url.split("/")[-1]
with open(f"{picSavePath}/{savePicName.split('?')[0]}","wb") as f:
f.write(res.content)
picMap[url]=f"{picSavePath}/{savePicName.split('?')[0]}"
else:
print("图片下载失败")
return picMap
上传图片至gitee图床
这一步将本地的图片上传到gitee的图床，gitee提供了开放的api，通过api可以将图片上传至指定仓库。
开放api地址：
https://gitee.com/api/v5/swagger#/postV5ReposOwnerRepoContentsPath
- 代码实现
def uploadPicToGitee(picFullPath,access_token="你自己的token",owner="登录的用户名",repo="仓库名",branch="存放的分支",giteeRepoSavePath="仓库下某个目录"):
'''
上传文件到gitee
:picFullPath: 本地图片路径
:giteeRepoSavePath: gitee仓库中文件存放路径
'''
headers = {
'Accept': 'application/json, text/plain, */*',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Connection': 'keep-alive',
'Content-Type': 'application/json;charset=UTF-8',
'Origin': 'https://gitee.com',
'Referer': 'https://gitee.com/api/v5/swagger',
'Sec-Fetch-Dest': 'empty',
'Sec-Fetch-Mode': 'cors',
'Sec-Fetch-Site': 'same-origin',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36',
'sec-ch-ua': '"Not_A Brand";v="99", "Google Chrome";v="109", "Chromium";v="109"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
}
# 将图片进行bas4编码
with open(picFullPath,"rb") as f:
content=base64.b64encode(f.read())
picDir=os.path.dirname(os.path.abspath(picFullPath))
# 切换目录
os.chdir(picDir)
picName=os.path.basename(picFullPath)
data = {
'access_token': access_token,
'content': content,
'message': f'upload-{picName}',
'branch': branch,
}
# 上传文件需要处理data
data=MultipartEncoder(fields=data)
headers['Content-Type']=data.content_type
res = requests.post(f'https://gitee.com/api/v5/repos/{owner}/{repo}/contents/{giteeRepoSavePath}/{picName}', headers=headers, data=data,verify=False)
if res.status_code==201 or res.text=='{"message":"A file with this name already exists"}':
imgUrl=f'https://gitee.com/{owner}/{repo}/raw/{branch}/{giteeRepoSavePath}/{quote(picName)}'
return imgUrl
return None
运行程序
if __name__=="__main__":
zhuanLan="c_1341718720926887936"
htmlSavePath=r"C:\Users\teisyogun\Desktop\脚本\python_learn\test\test" # 修改为自己html文件的存放地址
mdSavePath=r"C:\Users\teisyogun\Desktop\脚本\python_learn\test\test-md" # 修改为md文件的存放地址
downloadZhuanLanToLocalHtml(zhuanLan,htmlSavePath)
convertHtml2Markdow(htmlSavePath,mdSavePath)
mdSavePath1=r"C:\Users\teisyogun\Desktop\脚本\python_learn\test\test-md\test3" # gitee长时间上传会报超时错误，如果md文件很多，分成多批次上传
picSavePath=r"C:\Users\teisyogun\Desktop\脚本\python_learn\test\test-pic" # 修改为本地图片的存放路径
# 下面的逻辑就是在完成原md文件中图片链接替换为gitee图床的图片链接
for root,dirs,files in os.walk(mdSavePath1):
for filename in files:
mdFullPath=os.path.join(root,filename)
mdBakFullPath=os.path.join(root,filename.replace(".md","-bak.md"))
with open(mdFullPath,"r+",encoding="utf-8") as f,open(mdBakFullPath,"w",encoding="utf-8") as wf:
print(mdFullPath)
mdContent="".join(f.readlines())
urlList=lambdaToGetMarkdownPicturePosition(mdContent)
if len(urlList)!=0:
picMap=downloadPic(urlList,picSavePath)
print(picMap)
if bool(picMap):
for picUrl in picMap:
imgUrl=uploadPicToGitee(picMap[picUrl])
print(imgUrl)
if imgUrl is not None:
mdContent=mdContent.replace(picUrl,imgUrl)
else:
print(f"文件：{filename}中{picMap[picUrl]}替换失败")
wf.write(mdContent)
print(f"{filename}+===替换完成")
else:
wf.write(mdContent)
最终效果
所有替换后的md文件
打开带图片的文件，查看源码，发现图片中的文件已经被替换。
在预览模式下查看，图片可以正常显示。至此我们完成了所有的功能。
代码
获取完整代码，请在后台回复【专栏】或在评论区留言。
总结
文章中只是简单实现了需求，代码比较乱，欢迎大家评论指正。
本文由【产品经理不是经理】 gzh 同步发布，欢迎关注
