scrapy自定义pipeline类实现将采集数据保存到mongodb的方法

概述本文实例讲述了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法。分享给大家供大家参考。具体如下：

本文实例讲述了scrapy自定义pipeline类实现将采集数据保存到mongodb的方法。分享给大家供大家参考。具体如下：

# Standard Python library imports# 3rd party modulesimport pymongofrom scrapy import logfrom scrapy.conf import settingsfrom scrapy.exceptions import DropItemclass MongoDBPipeline(object):  def __init__(self):    self.server = settings['MONGODB_SERVER']    self.port = settings['MONGODB_PORT']    self.db = settings['MONGODB_DB']    self.col = settings['MONGODB_ColLECTION']    connection = pymongo.Connection(self.server,self.port)    db = connection[self.db]    self.collection = db[self.col]  def process_item(self,item,spIDer):    err_msg = ''    for fIEld,data in item.items():      if not data:        err_msg += 'Missing %s of poem from %s\n' % (fIEld,item['url'])    if err_msg:      raise DropItem(err_msg)    self.collection.insert(dict(item))    log.msg('Item written to MongoDB database %s/%s' % (self.db,self.col),level=log.DEBUG,spIDer=spIDer)    return item

希望本文所述对大家的python程序设计有所帮助。

总结

以上是内存溢出为你收集整理的scrapy自定义pipeline类实现将采集数据保存到mongodb的方法全部内容，希望文章能够帮你解决scrapy自定义pipeline类实现将采集数据保存到mongodb的方法所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。