网站地图（sitemap）对你到底有多重要？

众所周知，网站地图就是一个网站的一个导航，一个地图。网站地图（sitemap）列出了所有希望展示给用户或者搜索引擎的链接或者文字。

在开发爬虫系统的时候有一个很大的感触，大型网站要爬完，是很耗费时间的一个工程，需要分析出网站的所有链接，可能需要注意到这么几点：

1、分析链接是本站和其他站的；

2、分析链接是否为有效链接；

3、排除相同的链接；

4、排除分析过的链接。

搜索引擎需要面对的，可不是某一个网站，它针对全球所有公开的网站的爬取。那么搜索引擎的工作量就太大了，所以一个好的站点地图的作用是什么呢。

将网站所有需要展示的链接统一提交，这样便于加快搜索引擎获取全部网站的链接；如果网站地图文件你做成了HTML格式，你还可以充当404的展示页面，方便用户点击所需页面。

网站地图（sitemap）生成提交

网络上有很多在线生成网站地图的工具，这里我推荐使用sitemap网站地图免费生成工具(https://sitemap.webkk.net)。这个工具虽然是免费的、在线的，但是性能不逊色离线工具。sitemap网站地图免费生成工具利用现代HTML5 API 构建本地数据库，服务器后台仅仅处理页面获取和链接的分析，数据的存储和分析、比较放在本地。这样做的好处就是：

1、开放全站网站地图链接抓取；

2、断电恢复功能能够；

3、永久保存数据；

4、第二次使用秒生成。

在找到这个工具之前，小编对比了现阶段市面上所有的在线网站地图生成工具，都没有开放所有链接生成，只能获取一定量的链接。所有后来找到了这个工具，分享给大家使用。