scrapy异常状态码处理
时间：2020-03-04 17:40:47
收藏：0
阅读：81
scrapy异常状态码处理
在setting.py中加入
# 403状态的响应不被自动忽略，对403 的响应做个性化处理
HTTPERROR_ALLOWED_CODES = [403]
# 遇到错误忽略掉不重新请求，则设成[]
RETRY_HTTP_CODES = [500, 502, 503, 504, 508, 400, 403, 404, 408, 520]原文：https://www.cnblogs.com/xiao-xue-di/p/12410842.html
评论（0）