BUFF和steam的CSGO饰品价格爬取的优化改进

时间:2020-05-05 00:08:17   收藏:0   阅读:113

前些天在CSDN上看见某dalao的buff开源爬虫,没有上代理,config也只能在.ini里改,爬2000个商品花了很久

想着能不能改一下,就有改了一下,增加了从快代理上的动态爬取到的proxy

发现proxy在requests下好用一些。

后来又增加了利用logging模块的set方法来实现快捷更改关键参数,但是不知道为什么,每次改完,.ini里的参数变了但是程序运行时输入的参数没变

还未解决

 

原文:https://www.cnblogs.com/Nortonary/p/12828518.html

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!