webmagic抓取需要登录页面的内容,Site中addCookie
时间:2015-09-25 13:25:35
收藏:0
阅读:381
1 先自己登录,然后在浏览器查看有关于这个网站的cookie,确定是那几个cookie对登录有作用,比较麻烦的是一定得一个一个的确认,手动删除试验这个cookie是否对登录有作用,还好我这个只有三个。
查看浏览器的cookie,取图中的三个值:
private Site site = Site.me() .setRetryTimes(3) .setSleepTime(2000) .setTimeOut(60000) .setCharset("utf-8") .addCookie("域","名称", "内容") .addCookie("域","名称", "内容");
这样设置后就可以取到登录才能看到的值。
原文:http://my.oschina.net/u/1443619/blog/511053
评论(0)