Python爬取房产数据，在地图上展现！

概述小伙伴，我又来了，这次我们写的是用python爬虫爬取乌鲁木齐的房产数据并展示在地图上，地图工具我用的是BDP个人版-免费在线数据分析软件，数据可视化软件，这个可以导入csv或者excel数据。

小伙伴，我又来了，这次我们写的是用Python爬虫爬取乌鲁木齐的房产数据并展示在地图上，地图工具我用的是 BDP个人版-免费在线数据分析软件，数据可视化软件 ，这个可以导入csv或者excel数据。

首先还是分析思路，爬取网站数据，获取小区名称，地址，价格，经纬度，保存在excel里。再把excel数据上传到BDP网站，生成地图报表

本次我使用的是scrapy框架，可能有点大材小用了，主要是刚学完用这个练练手，再写代码前我还是建议大家先分析网站，分析好数据，再去动手写代码，因为好的分析可以事半功倍，乌鲁木齐楼盘,2017乌鲁木齐新楼盘,乌鲁木齐楼盘信息 - 乌鲁木齐吉屋网 这个网站的数据比较全，每一页获取房产的List信息，并且翻页，点进去是详情页，获取房产的详细信息(包含名称，地址，房价，经纬度)，再用pipelines保存item到excel里，最后在bdp生成地图报表，废话不多说上代码：

JiwuspIDerSpIDer.py

# -*- Coding: utf-8 -*-from scrapy import SpIDer,Requestimport refrom jiwu.items import JiwuItemclass JiwuspIDerSpIDer(SpIDer): name = "jiwuspIDer" allowed_domains = ["wlmq.jiwu.com"] start_urls = ['http://wlmq.jiwu.com/loupan'] def parse(self,response): """ 解析每一页房屋的List :param response:  :return:  """ for url in response.xpath('//a[@]/@href').extract(): yIEld Request(url,self.parse_HTML) # 取List集合中的url 调用详情解析方法 # 如果下一页属性还存在，则把下一页的url获取出来 nextpage = response.xpath('//a[@]/@href').extract_first() #判断是否为空 if nextpage: yIEld Request(nextpage,self.parse) #回调自己继续解析 def parse_HTML(self,response): """ 解析每一个房产信息的详情页面，生成item :param response:  :return:  """ pattern = re.compile('          总结       
以上是内存溢出为你收集整理的Python爬取房产数据，在地图上展现！全部内容，希望文章能够帮你解决Python爬取房产数据，在地图上展现！所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。
					
										


					

						
欢迎分享，转载请注明来源：内存溢出
原文地址: https://outofmemory.cn/langs/1208441.html