高德开放平台Web服务API
https://lbs.amap.com/
依次点击开发支持–Web服务–Web服务API，即可进入到高德开放平台Web服务API页面。
在这里插入图片描述
可以发现，官方已开放了行政区域查询的接口。
在这里插入图片描述
点击查看该接口的详细介绍:
在这里插入图片描述
其实就是先申请Key，然后构造Http请求，发送请求解析返回数据即可。
同时接口文档提到，该接口只能返回国、省、市、区的polyline(边界点集合)，不支持街道级别，但已经满足我们的需求了。
首先分析下接口请求参数:
在这里插入图片描述
有4点值得关注:
keywords支持行政区名称、citycode、adcode这3种格式，行政区名称可能存在重复(尤其level是县/区时)，而citycode只有level在市或市以下才有，只有adcode可以唯一指定某个行政区，所以检索的时候，我们使用adcode作为keywords传入；
subdistrict可以指定子级行政区的嵌套层数；
当最外层的districts超过20个元素时，需要配合page参数来获取全部元素；
只有extensions配置为all时，接口才会返回我们需要的区域边界数据。
想要一次性采集全国省市区行政边界数据的话，第1步肯定是先设法拿到省、市、区的列表，然后逐个遍历。
我们可以设置keywords为"中华人民共和国"，然后将subdistrict设置为3，下3层(省、市、区)的子行政区信息就会返回。
这样，我们发送1次请求就可以拿到省、市、区的列表了。
接着，我们将subdistrict调整为1(减少数据冗余)，依次遍历各个行政区域即可。
实现代码如下:
# -*- coding:utf-8 -*-
import requests
import time
import mongo_util #自行封装的 *** 作mongodb的工具类
def get_district_info(key, col, time_delay, headers={}):
request_url = 'https://restapi.amap.com/v3/config/district'
country_name = '中华人民共和国'
params = {
'subdistrict':'3',
'extensions':'all',
'key':key,
'output':'json',
'keywords':country_name,
}
# 设置subdistrict为3，1次请求获取到国、省、市、区的信息
country_res = requests.get(url=request_url, headers=headers, params=params).json()
if country_res['status'] != "1":
print("调用高德地图Web API失败！")
return
country = country_res['districts'][0]
col.insert_one(country)
print(f'{country_name}数据插入成功!')
params['subdistrict'] = '1'
# 遍历省
provinces = country['districts']
for province in provinces:
province_name = province['name']
params['keywords'] = province['adcode']
prov_res = requests.get(url=request_url, headers=headers, params=params).json()
if prov_res['status'] == "0":
print(f'{country_name}-{province_name}数据获取失败!')
continue
col.insert_one(prov_res['districts'][0])
print(f'{country_name}-{province_name}数据插入成功!')
time.sleep(time_delay)
# 遍历市
cities = province['districts']
if len(cities) == 0:
continue
for city in cities:
city_name = city['name']
params['keywords'] = city['adcode']
city_res = requests.get(url=request_url, headers=headers, params=params).json()
if city_res['status'] == "0":
print(f'{country_name}-{province_name}-{city_name}数据获取失败!')
continue
col.insert_one(city_res['districts'][0])
print(f'{country_name}-{province_name}-{city_name}数据插入成功!')
time.sleep(time_delay)
# 遍历区
districts = city['districts']
if len(districts) == 0:
continue
for district in districts:
distinct_name = district['name']
params['keywords'] = district['adcode']
distinct_res = requests.get(url=request_url, headers=headers, params=params).json()
if distinct_res['status'] == "0":
print(f'{country_name}-{province_name}-{city_name}-{distinct_name}数据获取失败!')
continue
col.insert_one(distinct_res['districts'][0])
print(f'{country_name}-{province_name}-{city_name}-{distinct_name}数据插入成功!')
time.sleep(time_delay)
# 主函数
if __name__ == '__main__':
key = "******"
# 接口请求之间的间隔
time_delay = 0.01
db_name = 'web_map'
col_name = 'distinct'
# MongoDB数据库所在的服务器
host = '******'
port = 27017
# 获取mongodb的表句柄
col = mongo_util.get_col(db_name, col_name, host, port)
# 获取全国各级行政区的数据
get_district_info(key, col, time_delay)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
因为接口返回的是JSON类型的嵌套数据，所以这里选择MongoDB作为存储组件。
为了防止爬取过程中，进程宕掉导致已请求的数据丢失，可以拿到1条数据就入库1条数据。
避免数据全都在内存中，执行批量插入的过程中异常退出，又得重复请求，但每个账号的天请求次数是有限制的。
同时，各个接口均有QPS阈值，所以我们通过time_delay参数来控制数据采集的频率。
但是高德开方平台Web服务API有天调用次数的限制，如果想获取大量数据，可能需要多个账号或者分多天进行请求，有没有更好的方法呢?
带着这样的疑问，我又看了看高德地图其他的API版块。
JS API
浏览高德开放平台的JS API示例，里面也有个行政区边界查询的Demo。
https://lbs.amap.com/demo/jsapi-v2/example/district-search/draw-district-boundaries
在这里插入图片描述
打开浏览器的"开发者工具"，我们抓包一下哪个请求是用来获取行政区域数据的。
在这里插入图片描述
在这里插入图片描述
哈哈哈，其实跟开放的Web API接口地址是一致的，而且通过分析接口请求，我们直接可以拿到key。
也就是说，不需要用自己高德账号里生成的key值了。
使用这个key构建接口请求，悲伤的发现，接口返回异常。
在这里插入图片描述
说明该接口其实还是跟开放的Web API接口还是有区别的，一般体现在请求参数和Headers上。
我们把浏览器抓取到的请求参数和Headers配置原封不动的拷贝过来，再次构建接口请求，此时接口正常返回。
但请求参数里的csid是个啥东西，而且不同行政区域请求里的csid还不同。
在这里插入图片描述
尝试着去掉该参数，然后构建接口请求，发现接口仍然可以正常返回，说明该参数是可选参数，而且不是检索字段。
按照这个思路，我们逐步尝试去掉其他请求参数和Headers里的配置。
发现该接口与开放的Web API接口相比，本质仅有2点不同:
请求参数
请求参数需要额外指定: s=rsv3
Headers
需要添加如下Headers:
在这里插入图片描述
调整原来的代码:
在params里增加s配置
params = {
'subdistrict':'3',
'extensions':'all',
'key':key,
'output':'json',
'keywords':country_name,
's':'rsv3' # 该项配置是关键配置
}
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
在发送请求的时候传入headers
headers = {
'Host': 'restapi.amap.com',
'Referer': 'https://lbs.amap.com/'
}
# 获取mongodb的表句柄
col = mongo_util.get_col(db_name, col_name, host, port)
# 获取全国各级行政区的数据
get_district_info(key, col, time_delay, headers)
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
该种方法的优点是绕开了第1种方法的日调用次数限制(高德是否有额外的反爬策略，待验证)。
AMAP Service
其实前面headrs的Referer配置就提醒我了，是不是高德地图在https://lbs.amap.com/这个地址下也有功能相同的接口。
所以就在高德平台上随意点了点，逛了逛，还真就发现了，哈哈哈。
在这里插入图片描述
与上面两个接口不同的是，这个接口是POST请求，而且竟然不需要指定key，这也太爽了吧，哈哈哈。
接着看一下请求参数:
在这里插入图片描述
参数和开放平台Web服务API的完全一致。
最后看一下表单数据:
在这里插入图片描述
显然表单数据是用来配置请求哪个接口的，这里的config/district代表的就是行政区域查询。
代码调整起来也不难:
# 调整请求的url
request_url = 'https://lbs.amap.com/service/api/restapi'
# 将所有的请求调整为POST，并传入表单数据，例如:
body = {
"type": "config/district",
"version": "v3"
}
country_res = requests.post(url=request_url, params=params, data=body).json()
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
该接口跟第2种接口相比，更近一步，连key值都省略了。
总结
本文介绍了3种基于高德地图获取全国省市区行政
能点击行政区上面所要下载的缩略图，它会变成一个透明有红色边框的小方块，而后在左边会着重显示遥感影像数据的相关信息，在左侧的数据选项中咱们能够进行翻页、下载、收藏等 *** 做。
地理空间数据云是由中国科学院网络信息中心建设的一款数据云计算的平台。能够在这个平台上完成数据检索，产品检索和许多高级检索的 *** 作，虽然主要是用于国家的科研，但是目前是对所有人免费进行开放的，当然，前提是不影响国家机密，保证国家安全，用户在这上面也能体验到全方位的数据检索服务。
云量一般选择小于5%直接进行检索得到相应数据，如果没有数据，则表示该时间范围和云量限制范围内没有符合要求的数据，需要扩大时间范围或者云量范围，甚至重新选择其他数据集，进行检索。本例子检索结果如下，点击下载按钮就可以将DEM压缩包下载至本地。随着观测技术的迅猛发展，地学数据已经迎来了信息爆炸时代，涌现出了大量的优质数据资源，且多数数据资源都采用友好的数据共享政策。由于受资源分散、网速、流量等诸多条件的限制，影响了国内用户对国际数据资源下载及应用。为了方便国内科研人员对国际科学数据的使用，在中国科学院科学数据应用环境的支持和推动下，2007年7月，中国科学院计算机网络信息中心科学数据“国际科学数据服务平台”建设。
2011年，科学数据中心在“国际科学数据服务平台"基础上开始建设“地理空间数据云平台"，于2013年1月正式对外投入使用。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）