爬虫5 cookie保存和调用实例

"""cookie实例， 自动保存，调用cookie
　　使用‘快代理’网站测试：登录页 + 工单页
    1. MozillaCookieJar库，用来提取并保存cookie信息
"""
from urllib.request import Request, build_opener, HTTPCookieProcessor
from fake_useragent import UserAgent
from urllib.parse import urlencode
from http.cookiejar import MozillaCookieJar


# 登陆并保存cookie
def login_save_cookie():
    url = ‘https://www.kuaidaili.com/login/‘
    headers = {
        ‘User-Agent‘: UserAgent().chrome
    }
    login_info = {
        ‘username‘: ‘...‘,
        ‘passwd‘: ‘...‘
    }
    request = Request(url, headers=headers, data=urlencode(login_info).encode())
    # 定义一个保存cookie的对象
    cookie_jar = MozillaCookieJar()
    # cookie处理器加载cookie_jar对象
    handler = HTTPCookieProcessor(cookie_jar)
    # 自定义opener对象，加载cookie处理器，并用来发送请求request对象
    opener = build_opener(handler)
    response = opener.open(request)
    # 定义保存cookie信息, 其它参数表示：忽略丢弃，忽略过期
    cookie_jar.save(‘cookie.txt‘, ignore_discard=True, ignore_expires=True)
    

# 提取cookie来访问其它页面
def load_cookie_request():
    url = ‘https://www.kuaidaili.com/support/‘
    headers = {
        ‘User-Agent‘: UserAgent().chrome
    }
    request = Request(url, headers=headers)
    # 生成保存cookie的对象
    cookie_jar = MozillaCookieJar()
    # 读取cookie文件信息
    cookie_jar.load(‘cookie.txt‘, ignore_expires=True, ignore_discard=True)
    # 将信息加载到cookie处理器
    handler = HTTPCookieProcessor(cookie_jar)
    # 生成自定义opener对象,加载cookie处理器
    opener = build_opener(handler)
    # 发送请求，接收响应
    response = opener.open(request)
    info = response.read()
    print(info.decode())
    

# 主函数
def main():
    login_save_cookie()
    load_cookie_request()
    

if __name__ == ‘__main__‘:
    main()