爬虫框架scrapy 1个piplines 对应多个spider,并且分别处理
时间:2015-04-06 06:33:22
收藏:0
阅读:312
def process_item(self, item, spider):
if re.search(r‘***‘,item[‘lineContent‘].encode(‘utf8‘)):
raise DropItem("no need in %s" % item[‘lineContent‘])
else:
if spider.name==‘**‘:
query = self.dbpool.runInteraction(self._conditional_insert, item)
#query.addErrback(self.handle_error)
return item
elif spider.name==‘***‘:
query = self.dbpool.runInteraction(self._conditional_insert2, item)
#query.addErrback(self.handle_error)
return item
本文出自 “水草” 博客,请务必保留此出处http://961911.blog.51cto.com/951911/1629129
原文:http://961911.blog.51cto.com/951911/1629129
评论(0)