Python爬虫框架Pyspider安装及问题

时间:2021-08-30 03:49:02   收藏:0   阅读:11

Windows下安装Anaconda,

开一个Python3.6的虚拟环境(直接创环境无法设置Python版本,新建环境后使用命令conda install python=3.6)
直接pip install pyspider,

问题及解决

1.wsgidav版本问题

2.wsgidav版本问题

3.webui显示不全,或者说相关的css和js加载不出来

运行后的webUI和网页上看到的不一样,查看http://127.0.0.1:5000的源码, 发现是cdnjs.cloudflare.com无法响应

于是进行搜索后发现需要修改虚拟环境名/Lib/site-packages/pyspider/run.py

第313行

    @click.option(‘--cdn‘, default=‘//cdnjs.cloudflare.com/ajax/libs/‘,

修改为:

    @click.option(‘--cdn‘, default=‘//cdnjs.cat.net/ajax/libs/‘,

4.运行pyspider all命令后一直停留在 result_worker starting...

一个可能的解决办法,先启动,然后用浏览器访问,关闭原先的终端重新启动

参考:

问题1参考
问题2参考
问题3参考

原文:https://www.cnblogs.com/tanjie200/p/15200881.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!