使用 MD5 加密 去重对插入的影响

现在有3000条数据，需要插入到数据库中去，使用的是对链接进行MD5加密，

<pre style="margin: 0px; padding: 0px; white-space: pre-wrap; word-wrap: break-word;">hashcode = md5(str(item_url))

然后在数据库中设置 hashcode 为UNIQUE索引
3000条数据全部插入完毕，耗时是32s

不使用MD5加密，耗时30秒。

结论：去重对时间影响不大</pre>