爬取数据生成shp文件

Github仓库地址为 https://github.com/WanZixin/SinaWeibo-LocationSignIn-spider

共有两大功能，一个功能是根据高德地图web服务API获取行政区划坐标串，写入行政区shp文件；另一个功能是根据高德地图的接口获取poi坐标串，写入aoi(area of interest)的shp文件。

lib文件夹 ，包含两个xls文件，分别是高德地图的城市编码表和POI分类编码表。

result/district_shp文件夹 ，用于存储生成的行政区shp文件。

result/aoi_shp文件夹 ，用于存储生成的aoi的shp文件。

config.ini文件 ，配置文件，填写高德地图web服务的key；填写要爬取的poi的类别编码；填写爬取城市的adcode。

getPoiShp.py文件 ，生成指定专题、指定城市的aoi的shp文件。

getDistrictShp.py文件 ，生成行政区划shp文件。

gcj02togps84.py文件 ，高德地图使用的是GCJ-02坐标系，用此py文件转换为WGS-84坐标系。

在具体 *** 作前，首先需要注册高德地图开发者账号，然后申请Web服务API密钥（Key）。

的请求URL，例如；<u style="box-sizing: inherit">http://restapi.amap.com/v3/config/district?key= <用户的key>&keywords=<关键词>&subdistrict=<子级行政区级别(0或1)>&extensions=all</u>。须注意的一点是：extensions参数应为all，若为base则只返回基本信息，其中不包含坐标串。

[图片上传失败...(image-c01f71-1594714471699)]

的请求URL，搜索POI有四种方式，分别是：关键词搜索、周边搜索、多边形搜索和ID查询。这里我们使用关键词搜索的方式，指定city并设置citylimit为true，只搜索城市内的数据。例如：<u style="box-sizing: inherit">https://restapi.amap.com/v3/place/text?keywords=北京大学&city=beijing&output=xml&offset=20&page=1&key= <用户的key>&extensions=all</u>。

如果有什么建议，欢迎联系我 zixinwan@foxmail.com 或提issue。欢迎star!

最早地图的数据从哪儿来？

最早的地图从哪儿来？难道每一个POI（Point of Interest：信息点）都需要地图商亲自采集？

曾在四维图新工作过四年的工作人员PH告诉雷锋网，最早的基础数据来自“国家测绘局”，像四维图新这种拥有雄厚政府背景，由国家测绘局于92年创建的唯一专业从事测绘的国家级公司，是直接共享数据，其余厂商或需要购买。

但是从国家测绘局拿到的数据并不是完整数据，像偏远的西南地区、环境恶劣的山区等地，地图数据几近空白，这些就需要地图生产商进行补充。PH表示，早在07、08年左右，中国的地图采集覆盖工作已经基本完成，剩下的就是对现有地图的维护和变更地区的更正。

高德的工作人员称，中国的道路变更速度非常快，保持在每年20%到30%的速度，仅2014年，我国新增93800公里公路、7000公里铁路、551公里地铁。因此对地图的维护也需要耗费大量的人力。

有哪几种数据采集方式？

高德介绍，数据采集可以分为车辆采集、步行采集、航拍、众包等模式。

车采

腾讯地图的Rolleima告诉我们，车采有严格的规范，行驶速度大致在30-60公里/小时。车采工程师和街景车司机配合采集道路街景，随时监控采集成果和设备运作。车采对于天气和能见度的评估要求非常高，像北京PM2.5超过200的天气，就无法采集，更不用提阴天下雨的了。

在高德的采集车顶上配有全景摄像头，高德的数据采集系统可以获取包含“道路红绿灯”、“指示牌”“测速探测器”等信息的图像视频，激光扫描仪和测距传感器可以测量出街道的宽度、长度、车道线、隔离带等，高精度惯导系统则可以生成街景及三维地图。

步采

街景车无法采集的区域，则需要使用繁重的设备进行人工采集，目前多数城市的街景都是人工采集的成果。工作人员手持 PDA 和相机前往商厦、学校、商场、银行等场所拍摄照片，再录入到数据采集系统。

Rolleima透露，基于采拍工作的特殊性，腾讯地图对采拍人员有一定的要求：

首先形象健康，不可光头、长须；其次，要有良好的行为习惯，与人和善不易与人冲突，耐性好，具有较好的个人修养；而且，执行力强，对自己工作质量要求严格；当然，身体素质也必过硬，起码能背负足够重的采拍机爬山过河。

高德地图的何宁介称，步采的POI信息处理主要分为四种：新增、修改、删除、不变。当步行到某地，发现原来的餐厅被变更成了银行，直接选择餐厅的POI信息，点击删除后，在原位置新增一个银行POI信息，变更就完成了。  

航拍

租借飞机进行航空摄影测量是采集中最高端的做法，目前市场上提供商用的三维地图主要是卫片（卫星拍摄），其分辨率近50公分。不过基于国家安全的考虑，航拍在很多地区都是被限制的。

航拍主要是强化地图的精细度。比如东莞的很多地级市，它的楼密集到人侧身才能通过，即使是人工的数据采集也很难做到。这种时候只有通过航拍才能获得准确信息。

众包模式

PH向我们介绍，地图生产商除了自己进行地理信息采集，还会进行外包，比如一个城市外包，由当地的人员进行采集，或者外包给物流公司。

物流公司的运输车辆上装有GPS导航仪，只传回GPS信息，没有视频和图片，这一部分主要是辅助矫正作用。据高德称，目前有 30 多万辆物流车在回传数据，北京 6 万辆出租车也是使用高德导航服务，他们也能传回大量数据。

另一部分众包则来自UGC，主要是用户的报错反馈。由于新浪微博、阿里等公司都采用高德地图的数据，巨大的用户保有量使得高德每天收到大量用户反馈。高德“增值事业部”每位员工每月可以处理约2300条报错。

数据可以直接使用吗？

高德向我们介绍，

“高德外业实地采集人员获取准确数据后，先将数据提交给内业人员进行数据加工处理，再对原始数据经过编辑、赋值等处理，最后得到可以用来导航的地图数据，目前仅仅地图绘制人员就超过500人。之后，地图要经过向国家测绘部门审图、导航电子地图加密、申请获批出版号、自检自查、测试等等环节，最后才能进入市场流通。”

至于街景方面，目前街景地图并不能保证完全的准确率。主要因为有些地方涉及国家安全问题，如保密建筑，油厂等。通过与国家相关安全部门协议，对于这些地方进行纹理移植 *** 作：不能直接表现的地区，用周围的类似景物覆盖。据悉，有些城市，这种需要处理的地方达万次。

同时，街景地图对车牌、人脸等也负有保护隐私的责任，若照片中存在，将进行马赛克处理。

拥堵信息从何而来？

那实时路段的拥堵信息从何而来？当然不是有人在不同的路口蹲守。

首先是磁浮圈。在道路的下端都有埋有“传感器”，用来感知不同路段的车辆；其次是通过交管局的视频，可以监控不同路段的流量，如果有异常直接在地图上进行标记；最后是浮动车，主要指城市装有GPS的出租车，通过监控车辆的异常行驶速度判断路况。

最后分享一个有趣的问题，在街景方面，有人提出，有没有可能，国内几家比较大的地图公司相互合作，你采A城市，我拍B城市，然后互相提供数据，这样还可以节省成本。就职于腾讯地图的Rolleima告诉我们：

很遗憾，不仅仅是国内，在国外也没有看到过共享街景数据的成功合作。Google、Nokia、Bing等等外国街景地图都是各自在采集各自的数据。基于每家公司原始底层的匹配技术不同，数据的共享难度很大，其次，很多公司都在探索街景的盈利模式，所以占有数据的独享权非常必要。

---