scrapy框架简单使用样例——以当当网为例

时间:2021-09-09 06:59:08   收藏:0   阅读:16

scrapy框架简单使用样例——以当当网为例

  1. 要爬取的地址为http://category.dangdang.com/cp01.01.02.00.00.00.html

  2. 创建项目,命令行运行命令 scrapy startproject 项目名称 (这里命名为dangdang)
    项目结构如下:

    技术分享图片

  3. 命令行cd命令进入技术分享图片
    该目录下输入命令scrapy genspider 爬虫名称 爬取域名 (这里是dangspider)回车后会发现spiders下面多了一个dangspider.py的文件技术分享图片

  4. 打开dangspider.py文件可以看一下技术分享图片

parse函数中的response相当于第三方库中requests.get(url)返回的response,具有类似的属性和方法,parse函数中可以编写对响应内容进行处理的代码

  1. 打开要爬取的当当的网址,对要爬取的内容进行分析

技术分享图片
要爬取三部分内容为三部分内容,分别是书名、价格、图片地址

  1. 根据要爬取的内容在items.py文件中定义相应的数据结构,如下
    技术分享图片

  2. 为要提取的部分编写xpath表达式,可以打开浏览器插件xpath helper,如下:

  1. 根据上一步的分析,编写parse函数
    技术分享图片

  2. 开启管道
    技术分享图片

  3. 为管道编写相关函数,我们将爬取的数据保存为json文件,一个对象为json文件一项纪录,process_item函数中的item就是yield送过来的对象

技术分享图片

  1. 我们可以对书的图片进行下载,为此我们可以开辟另外一条管道专门用于图片的下载,图片保存到当前目录下的books文件夹下,为此我们创建books文件夹
    技术分享图片

  2. 对于图片的下载的这条管道我们需要在setting.py文件中进行配置,并设置相应的管道优先级,优先级是数字越小优选级越大

技术分享图片

13.最后运行爬虫 scrapy crawl dangspider
技术分享图片

  1. 运行结果
    技术分享图片

可以看到数据被保存到books.json文件里了

技术分享图片

当页的图片也成功的爬取下来了。

原文:https://www.cnblogs.com/daweiguo/p/15239993.html

评论(0)
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!