利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！

概述  JiwuspiderSpider.py#-*-coding:utf-8-*-fromscrapyimportSpider,Requestimportrefromjiwu.itemsimportJiwuItem

JiwuspIDerSpIDer.py

# -*- Coding: utf-8 -*-from scrapy import SpIDer,Requestimport refrom jiwu.items import JiwuItemclass JiwuspIDerSpIDer(SpIDer): name = "jiwuspIDer" allowed_domains = ["wlmq.jiwu.com"] start_urls = ['http://wlmq.jiwu.com/loupan'] def parse(self,response): """ 解析每一页房屋的List :param response:  :return:  """ for url in response.xpath('//a[@]/@href').extract(): yIEld Request(url,self.parse_HTML) # 取List集合中的url 调用详情解析方法 # 如果下一页属性还存在，则把下一页的url获取出来 nextpage = response.xpath('//a[@]/@href').extract_first() #判断是否为空 if nextpage: yIEld Request(nextpage,self.parse) #回调自己继续解析 def parse_HTML(self,response): """ 解析每一个房产信息的详情页面，生成item :param response:  :return:  """ pattern = re.compile('          总结       
以上是内存溢出为你收集整理的利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！全部内容，希望文章能够帮你解决利用Python爬取房产数据！并在地图上显示！Python乃蒂花之秀！所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。
					
										


					

						
欢迎分享，转载请注明来源：内存溢出
原文地址: http://outofmemory.cn/langs/1209209.html