Scrapy 爬虫实战

1，scrapy 安装

• pip install scrapy
• 初始化项目：scrapy startproject 爬虫项目名称
• 打开项目，cd 爬虫项目名称，创建爬虫:scrapy genspider 爬虫名称 爬虫地址.com
• 运行爬虫：scrapy crawl 爬虫名称

1.1 scrapy 原理图

参考资料:

• 爬虫框架Scrapy入门
• scrapy爬取script标签中某个var变量的值
• get the value of Javascript variable
• scrapy 解析获取请求URL
• Scrapy爬取论坛存入elasticsearch

原文：https://www.cnblogs.com/linkworld/p/13739392.html