scrapy创建爬虫项目

1. 创建项目: scrapy startproject 项目名
2. 创建爬虫: cd 项目名
scrapy genspider 爬虫名 爬虫起始url
3. 启动爬虫: scrapy crawl 爬虫名
4. 启动爬虫并保存日志: scrapy crawl 爬虫名 -s LOG_FILE=日志名.log
5. 利用scrapy的工具调试某个页面: scrapy shell url地址

原文：https://www.cnblogs.com/sophia201552/p/11725833.html