高德开放平台Web服务API
https://lbs.amap.com/
依次点击开发支持–Web服务–Web服务API，即可进入到高德开放平台Web服务API页面。
在这里插入图片描述
可以发现，官方已开放了行政区域查询的接口。
在这里插入图片描述
点击查看该接口的详细介绍:
在这里插入图片描述
其实就是先申请Key，然后构造Http请求，发送请求解析返回数据即可。
同时接口文档提到，该接口只能返回国、省、市、区的polyline(边界点集合)，不支持街道级别，但已经满足我们的需求了。
首先分析下接口请求参数:
在这里插入图片描述
有4点值得关注:
keywords支持行政区名称、citycode、adcode这3种格式，行政区名称可能存在重复(尤其level是县/区时)，而citycode只有level在市或市以下才有，只有adcode可以唯一指定某个行政区，所以检索的时候，我们使用adcode作为keywords传入；
subdistrict可以指定子级行政区的嵌套层数；
当最外层的districts超过20个元素时，需要配合page参数来获取全部元素；
只有extensions配置为all时，接口才会返回我们需要的区域边界数据。
想要一次性采集全国省市区行政边界数据的话，第1步肯定是先设法拿到省、市、区的列表，然后逐个遍历。
我们可以设置keywords为"中华人民共和国"，然后将subdistrict设置为3，下3层(省、市、区)的子行政区信息就会返回。
这样，我们发送1次请求就可以拿到省、市、区的列表了。
接着，我们将subdistrict调整为1(减少数据冗余)，依次遍历各个行政区域即可。
实现代码如下:
# -*- coding:utf-8 -*-
import requests
import time
import mongo_util #自行封装的 *** 作mongodb的工具类
def get_district_info(key, col, time_delay, headers={}):
request_url = 'https://restapi.amap.com/v3/config/district'
country_name = '中华人民共和国'
params = {
'subdistrict':'3',
'extensions':'all',
'key':key,
'output':'json',
'keywords':country_name,
}
# 设置subdistrict为3，1次请求获取到国、省、市、区的信息
country_res = requests.get(url=request_url, headers=headers, params=params).json()
if country_res['status'] != "1":
print("调用高德地图Web API失败！")
return
country = country_res['districts'][0]
col.insert_one(country)
print(f'{country_name}数据插入成功!')
params['subdistrict'] = '1'
# 遍历省
provinces = country['districts']
for province in provinces:
province_name = province['name']
params['keywords'] = province['adcode']
prov_res = requests.get(url=request_url, headers=headers, params=params).json()
if prov_res['status'] == "0":
print(f'{country_name}-{province_name}数据获取失败!')
continue
col.insert_one(prov_res['districts'][0])
print(f'{country_name}-{province_name}数据插入成功!')
time.sleep(time_delay)
# 遍历市
cities = province['districts']
if len(cities) == 0:
continue
for city in cities:
city_name = city['name']
params['keywords'] = city['adcode']
city_res = requests.get(url=request_url, headers=headers, params=params).json()
if city_res['status'] == "0":
print(f'{country_name}-{province_name}-{city_name}数据获取失败!')
continue
col.insert_one(city_res['districts'][0])
print(f'{country_name}-{province_name}-{city_name}数据插入成功!')
time.sleep(time_delay)
# 遍历区
districts = city['districts']
if len(districts) == 0:
continue
for district in districts:
distinct_name = district['name']
params['keywords'] = district['adcode']
distinct_res = requests.get(url=request_url, headers=headers, params=params).json()
if distinct_res['status'] == "0":
print(f'{country_name}-{province_name}-{city_name}-{distinct_name}数据获取失败!')
continue
col.insert_one(distinct_res['districts'][0])
print(f'{country_name}-{province_name}-{city_name}-{distinct_name}数据插入成功!')
time.sleep(time_delay)
# 主函数
if __name__ == '__main__':
key = "******"
# 接口请求之间的间隔
time_delay = 0.01
db_name = 'web_map'
col_name = 'distinct'
# MongoDB数据库所在的服务器
host = '******'
port = 27017
# 获取mongodb的表句柄
col = mongo_util.get_col(db_name, col_name, host, port)
# 获取全国各级行政区的数据
get_district_info(key, col, time_delay)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
因为接口返回的是JSON类型的嵌套数据，所以这里选择MongoDB作为存储组件。
为了防止爬取过程中，进程宕掉导致已请求的数据丢失，可以拿到1条数据就入库1条数据。
避免数据全都在内存中，执行批量插入的过程中异常退出，又得重复请求，但每个账号的天请求次数是有限制的。
同时，各个接口均有QPS阈值，所以我们通过time_delay参数来控制数据采集的频率。
但是高德开方平台Web服务API有天调用次数的限制，如果想获取大量数据，可能需要多个账号或者分多天进行请求，有没有更好的方法呢?
带着这样的疑问，我又看了看高德地图其他的API版块。
JS API
浏览高德开放平台的JS API示例，里面也有个行政区边界查询的Demo。
https://lbs.amap.com/demo/jsapi-v2/example/district-search/draw-district-boundaries
在这里插入图片描述
打开浏览器的"开发者工具"，我们抓包一下哪个请求是用来获取行政区域数据的。
在这里插入图片描述
在这里插入图片描述
哈哈哈，其实跟开放的Web API接口地址是一致的，而且通过分析接口请求，我们直接可以拿到key。
也就是说，不需要用自己高德账号里生成的key值了。
使用这个key构建接口请求，悲伤的发现，接口返回异常。
在这里插入图片描述
说明该接口其实还是跟开放的Web API接口还是有区别的，一般体现在请求参数和Headers上。
我们把浏览器抓取到的请求参数和Headers配置原封不动的拷贝过来，再次构建接口请求，此时接口正常返回。
但请求参数里的csid是个啥东西，而且不同行政区域请求里的csid还不同。
在这里插入图片描述
尝试着去掉该参数，然后构建接口请求，发现接口仍然可以正常返回，说明该参数是可选参数，而且不是检索字段。
按照这个思路，我们逐步尝试去掉其他请求参数和Headers里的配置。
发现该接口与开放的Web API接口相比，本质仅有2点不同:
请求参数
请求参数需要额外指定: s=rsv3
Headers
需要添加如下Headers:
在这里插入图片描述
调整原来的代码:
在params里增加s配置
params = {
'subdistrict':'3',
'extensions':'all',
'key':key,
'output':'json',
'keywords':country_name,
's':'rsv3' # 该项配置是关键配置
}
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
在发送请求的时候传入headers
headers = {
'Host': 'restapi.amap.com',
'Referer': 'https://lbs.amap.com/'
}
# 获取mongodb的表句柄
col = mongo_util.get_col(db_name, col_name, host, port)
# 获取全国各级行政区的数据
get_district_info(key, col, time_delay, headers)
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
该种方法的优点是绕开了第1种方法的日调用次数限制(高德是否有额外的反爬策略，待验证)。
AMAP Service
其实前面headrs的Referer配置就提醒我了，是不是高德地图在https://lbs.amap.com/这个地址下也有功能相同的接口。
所以就在高德平台上随意点了点，逛了逛，还真就发现了，哈哈哈。
在这里插入图片描述
与上面两个接口不同的是，这个接口是POST请求，而且竟然不需要指定key，这也太爽了吧，哈哈哈。
接着看一下请求参数:
在这里插入图片描述
参数和开放平台Web服务API的完全一致。
最后看一下表单数据:
在这里插入图片描述
显然表单数据是用来配置请求哪个接口的，这里的config/district代表的就是行政区域查询。
代码调整起来也不难:
# 调整请求的url
request_url = 'https://lbs.amap.com/service/api/restapi'
# 将所有的请求调整为POST，并传入表单数据，例如:
body = {
"type": "config/district",
"version": "v3"
}
country_res = requests.post(url=request_url, params=params, data=body).json()
1
2
3
4
5
6
7
8
1
2
3
4
5
6
7
8
该接口跟第2种接口相比，更近一步，连key值都省略了。
总结
本文介绍了3种基于高德地图获取全国省市区行政
把本地sql server数据库导入到服务器的方法步骤（SQL 2000为例）：首先打开本地的SQL 2000的企业管理器,然后根据数据库开通信中的地址、用户名密码,建立远程SQL注册,连上远程服务器上的数据库:
然后登录到远程数据库服务器:
1、右击准备导入数据的数据库,选择“所有任务”下的“导入数据”
2、进入DTS导入/导出向导,点击“下一步”按钮继续
3、选择数据源,输入数据源所在的数据库服务器IP、用户名、密码和要复制数据的源数据库,点击“下一步”按钮
4、选择目的,输入目的数据库所在的数据库服务器名称、用户名、密码和要复制数据的目的数据库(这个信息在用户区,数据库管理中可以看到),点击“下一步”按钮
5、选择“在SQL Server数据库之间复制对象和数据”方式,点“下一步”继续
6、注意取消安全措施选项
7、设定调度方式,一般选“立即运行”就可以,然后点“下一步”继续
8、点“完成”执行
保存省市区数据文件是一种常见的做法，因为在很多应用程序或者网站中都需要用到省市区数据。一般情况下，将省市区数据保存至文件中是比较合适的，因为这样能够方便地进行数据管理和维护，并且可以降低程序的复杂度。保存省市区数据文件的形式可以是文本文件、XML文件、JSON文件等。其中，文本文件的格式比较简单，容易处理，但是不太方便跨平台传输；XML文件适合结构比较复杂的数据类型，但是文件比较大；JSON文件则是一种轻量级的数据格式，适合于简单的数据类型。
当然，如果你的应用程序或者网站中需要提供实时的省市区数据，则可以考虑将数据存储在数据库中，并提供相应的接口供程序或者网站访问。这样做的好处是能够避免数据冗余，提供更加灵活和高效的数据 *** 作方式。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）