爬虫框架scrapy 1个piplines 对应多个spider,并且分别处理

时间:2015-04-06 06:33:22   收藏:0   阅读:312

def process_item(self, item, spider):

        if re.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):

            raise DropItem("no need in %s" % item[‘lineContent‘])

        else:

            if spider.name==‘**‘:

                query = self.dbpool.runInteraction(self._conditional_insert, item)  

                #query.addErrback(self.handle_error)  

                return item

            elif spider.name==‘***‘:

                query = self.dbpool.runInteraction(self._conditional_insert2, item)  

                #query.addErrback(self.handle_error)  

                return item


本文出自 “水草” 博客,请务必保留此出处http://961911.blog.51cto.com/951911/1629129

原文:http://961911.blog.51cto.com/951911/1629129

评论(0
© 2014 bubuko.com 版权所有 - 联系我们:wmxa8@hotmail.com
打开技术之扣,分享程序人生!