我爱编程EVA的真实故事

又交了1000多数据给客户

2017-09-26  本文已影响0人  一百八十斤大胖子

客户对数据没有意见,对生产数据的速度有意见了,认为我们的效率太低了,都不够他们一天训练用的数据量。

今天用了phantomJS来尝试换一种更高效的数据抓取方式,代码还没有写完进行测试,cookie是绕不开的大问题,weibo对数据访问接口又做了新的限制,代理IP池还剩下20几个,又要买一批了!太烦躁了


PS:又流了一次血,虽然几滴。。。。。

又交了1000多数据给客户
上一篇 下一篇

猜你喜欢

热点阅读