爬虫框架scrapy 1个piplines 对应多个spider，并且分别处理

def process_item(self, item, spider):

        if re.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):

            raise DropItem("no need in %s" % item[‘lineContent‘])

        else:

            if spider.name==‘**‘:

                query = self.dbpool.runInteraction(self._conditional_insert, item)  

                #query.addErrback(self.handle_error)  

                return item

            elif spider.name==‘***‘:

                query = self.dbpool.runInteraction(self._conditional_insert2, item)  

                #query.addErrback(self.handle_error)  

                return item

本文出自 “水草” 博客，请务必保留此出处http://961911.blog.51cto.com/951911/1629129

原文：http://961911.blog.51cto.com/951911/1629129