英国的英文名全称为UnitedKingdomofGreatBritainandNorthernIreland(大不列颠及北爱尔兰联合王国),一般我们简称为UK。
UK是英国最为正式的名称,GBR是大不列颠(GreatBritain)的缩写,是英国的ISO国际三位国家代码,而Britain是英国日常生活中最为通用的说法,也可以叫大不列颠(GreatBritain,注意别缩写为GBR)。
联合国商品贸易统计数据库(缩写UN Comtrade)由联合国统计署创建,是目前全球最大、最权威的国际商品贸易数据型资源库,每年超过200个国家和地区向联合国统计署提供其官方年度商品贸易数据,涵盖全球99%的商品交易,真实反映国际商品流动趋势。这是我们研究全球贸易活动最基础、最权威的数据库。下载页面如下:
但是每次都要手动 *** 作一遍,就比较麻烦。不过UN Comtrade提供了可以更方便获得数据的接口,我们来尝试一下。接口的实现原理,大概相当于:我们把要查询的数据,编成一条信息,发给UN Comtrade,然后UN Comtrade返回一个包含数据的文件,我们再解码成我们想要的格式。
一、查看接口格式。
我们先去UN Comtrade的接口网页,来看一看接口格式。
上图就是UN Comtrade的接口中,所包含的参数及格式。具体为:
r:reporting area 报告数据的国家,默认值0
px:classification 商品代码体系,商品进出口的默认值是HS(即Harmonized System),也可以选ST(即Standard International Trade Classification),服务进出口的默认值是EB02
ps:time period 时间区间,格式为 YYYY YYYYMM now recent等几种格式,取决于周期是月还是年。now 是获得最近1期数据(默认值),recent 是获得最近5期数据
p:partner area 发生贸易往来的经济体,默认值all
rg:trade regime / trade flow 贸易的方向,1 代表进口,2 代表出口,默认值all
cc:classification code 商品分类代码,TOTAL 代表全部,AG2 代表两位代码(默认值)等
max:maximum records returned 一次性返回的最大数据条数,默认值是500,普通访客最高是10万,认证用户最高是25万
type:trade data type 贸易类型,C 是商品(默认值),S 是服务
freq:data set frequency 数据频率,A 是年(默认值),M 是月
head:heading style 数据抬头格式,H 适合人阅读(默认值),M 适合机器阅读
最近铁矿石价格高涨,引发市场关注,而中国铁矿石的主要进口来源地是澳大利亚,我们就来看看,过去5年中国自澳大利亚进口铁矿石的数据。
我们把相关参数录入后,点击左下角的 Try it out! 就会返回给我们一个地址,这个地址就是向UN Comtrade发送数据请求的信息。同样,我们可以基于这条信息的格式,来设计我们的 Python 接口函数。
https://comtrade.un.org/api/get?r=156&px=HS&ps=2015%2C2016%2C2017%2C2018%2C2019&p=36&rg=1&cc=2601&type=C&freq=A&head=H
我们把这条消息输入浏览器的地址栏,就可以看到返回的数据如下,里面的 TradeValue 就是我们想要的数据了:
二、调用requests库解析数据
UN Comtrade的接口以json格式交换数据,我们来看一看返回的数据格式。我们要用到Python的requests库。
import requests test = requests.get("http://comtrade.un.org/api/get", params=dict(r="156",px="HS",ps="2015,2016,2017,2018,2019",p="36",rg='1',cc='2601',type='C',freq="A")) test.json()
我们来看一下返回内容,json有点类似于双重字典,从下文可以看到,返回结果主要包括两大类,第一大类是validation,主要是过程信息,第二大类是dataset,主要是我们需要的数据。
{'validation': {'status': {'name': 'Ok', 'value': 0, 'category': 0, 'description': '', 'helpUrl': 'For more reference visit http://comtrade.un.org/data/dev/portal/'}, 'message': None, 'count': {'value': 5, 'started': '2020-12-15T02:52:46.3395337+01:00', 'finished': '2020-12-15T02:52:47.0901557+01:00', 'durationSeconds': 0.750622}, 'datasetTimer': {'started': '2020-12-15T02:52:46.3395337+01:00', 'finished': '2020-12-15T02:52:47.8896543+01:00', 'durationSeconds': 1.5501205999999998}}, 'dataset': [{'pfCode': 'H5', 'yr': 2017, 'period': 2017, 'periodDesc': '2017', 'aggrLevel': 4, 'IsLeaf': 0, 'rgCode': 1, 'rgDesc': 'Import', 'rtCode': 156, 'rtTitle': 'China', 'rt3ISO': 'CHN', 'ptCode': 36, 'ptTitle': 'Australia', 'pt3ISO': 'AUS', 'ptCode2': None, 'ptTitle2': '', 'pt3ISO2': '', 'cstCode': '', 'cstDesc': '', 'motCode': '', 'motDesc': '', 'cmdCode': '2601', 'cmdDescE': 'Iron ores and concentratesincluding roasted iron pyrites', 'qtCode': 8, 'qtDesc': 'Weight in kilograms', 'qtAltCode': None, 'qtAltDesc': '', 'TradeQuantity': 668420584292, 'AltQuantity': None, 'NetWeight': 668420584292, 'GrossWeight': None, 'TradeValue': 46500341920, 'CIFValue': None, 'FOBValue': None, 'estCode': 0},
三、使用Pandas库转换数据格式
我们选择我们关心的数据,用关键字提取出来,然后转换成DataFrame格式,就可以方便的查看数据了:
import pandas as pd import cufflinks as cf pd.DataFrame(test.json()['dataset'])[['yr','TradeValue']].iplot(x='yr',y='TradeValue',kind='bar',title='中国过去5年自澳大利亚进口铁矿石金额')
四、简单封装
我们把上文中的读取和解析数据的过程,简单封装成一个函数,以方便后续调用,比如我们想查看中国历年自澳大利亚进口铁矿石的金额,可以用如下命令:
import requests import pandas as pd import cufflinks as cf def comtrade_data(**params): r = requests.get("http://comtrade.un.org/api/get", params=params) return pd.DataFrame(r.json()['dataset']) Iron_ores = comtrade_data(r="156",px="HS",ps="ALL",p="36",rg='1',cc='2601',type='C',freq="A") Iron_ores[['yr','TradeValue']].iplot(x='yr',y='TradeValue',kind='bar',title='中国自澳大利亚进口铁矿石金额')
我们想看看中国的大豆自各国进口的情况,用
soybean = comtrade_data(r="156",px="HS",ps="2019",p="all",rg='1',cc='1201',type='C',freq="A") soybean = soybean.sort_values(by='TradeValue',ascending=False) soybean.iloc[1:6].iplot(x='ptTitle',y='TradeValue',kind='bar',title='2019年中国大豆进口额')
从上图可以看到,2019年中国自巴西的大豆进口,明显高于美国,那么这种情况,是否是受到中美贸易摩擦的影响呢?我们用如下命令,就可以很清晰的看到,2018年之前,中国自美国和巴西进口大豆的金额比较接近,但是2018年之后,中国自美进口大豆锐减,并从巴西替代,这也是中美贸易摩擦对美国影响的一个案例。
soybean_import = comtrade_data(r="156",px="HS",ps="all",p="76,842",rg='1',cc='1201',type='C',freq="A") soybean_import_usa = soybean_import[soybean_import['ptTitle']=='USA'].set_index('yr')[['TradeValue']] soybean_import_brazil = soybean_import[soybean_import['ptTitle']=='Brazil'].set_index('yr')[['TradeValue']] soybean_import_all = soybean_import_usa.join(soybean_import_brazil,lsuffix='_USA',rsuffix='_Brazil') soybean_import_all.iplot(kind='bar',title='中国自美国和巴西进口大豆金额',legend={'orientation':'h','x':0.1,'y':-0.1})
五、几个注意事项
1、如果是访客用户的话,ps、r、p三个参数最多只能填5个代码,最多只有一个参数可以使用all,cc最多可以填20个代码,可以使用all
2、查询国家的时候,只能录入国家编号,查询国家对应编号的地址是https://comtrade.un.org/Data/cache/reporterAreas.json
3、查询对手方国家的时候,只能录入国家编号,查询对手方国家对应编号的地址是https://comtrade.un.org/Data/cache/partnerAreas.json
4、查询相关商品对应的HS编码,地址是https://comtrade.un.org/Data/cache/classificationHS.json
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)