Django学习笔记二：优化博客展示，抓取博文并保存到数据库

自从去年年底开始，走上了Jekyll+Github+Markdown这条不归路，先是把CSDN上面的一些博客迁移过来，然后就是经常写一些自己在平时学习、开发过程中的心得体会，不见得有人看。权当技术总结，外加练习写作表达了。

这种简洁优雅的表达方式，简直让人沉醉。不禁回想上大学（本科）时，也曾折腾了一段时间Wordpress，当时也写了一些内容、交了一些博友，可总有一种无病呻吟的感觉，后来不想写了，也没给服务器续费，就没了。之后，就是偶尔在CSDN上面做一些总结；可也没有很认真的对待。再后来，看了一些类似“我为什么要写博客”这样的文章，觉得说的很有道理，醍醐灌顶。于是，就在这儿安了家。我的朋友圈子里，几乎没有人写博客；虽然“孤单”，我却乐在其中。有时兴致来了，还把自己觉得不错的博文，在新建的公众号推送一下。

我在Github上fork的这个博客模版，文章有categories和tags这两个属性，可是页面展示出来的，只有tags，而categories却没有做展示。那么，问题来了！文章是需要有一个分类的，而一个文章却可能有多个标签。就想着，能不能加一个分类页面，更好的为文章分类。于是，就开始看模版的代码。据说Jekyll使用的是Ruby，我对Ruby完全不了解，但是不同语言之间是有规律可循的，这不，我就发现了规律：tags页面使用“for tag in site.tags”对标签进行遍历，于是我试了一下“for category in site.categories”，对分类进行遍历然后就通了。

这样，事情就好办了。在Tags.md同级目录（即网站根目录）新建Categories.md,把tags替换成categories，代码如下：

IMG_20160402_1.jpeg

剩下的问题就是，分类页面和标签页面的样式完全一样，于是便有了下面的想法，打算做出来看看效果如何。

大概思路是：

• 从Categories页面抓取博客的所有分类，以及每个分类下的文章（时间和标题）
• 将抓取到的内容保存到数据库中（新建blog数据库及表，字段title、create_time、content等）
• 从数据库中查询博客信息并做展示（此篇咱不分析，如有兴趣请关注本博客后续的文章）

代码如下：

from urllib.request import urlopen
from bs4 import BeautifulSoup
import mysql.connector

url = 'http://blog.ybbz.site/Categories/'
html = urlopen(url)
bsObj = BeautifulSoup(html, 'lxml')
uls = bsObj.findAll('ul', {'class': 'listing'})
cate_list = []
for ul in uls:
    cate = ul.h4.string
    for li in ul.findAll('li'):
        cate_list.append((str(cate), str(li.time.string), str(li.a.string)))
print(cate_list)

host = 'your hostname'
user = 'your username'
passwd = 'your password'
db = 'your database'
# connect database
conn = mysql.connector.connect(host=host, user=user, passwd=passwd, db=db)
cursor = conn.cursor()
# save blogs
sql = "insert into blog(category,create_time,title) values(%s, %s, %s)"
cursor.executemany(sql, cate_list)
conn.commit()