为了取得宝贵的气象资料,全世界各国都建立了各类气象观测站,如地面站、探空站、测风站、火箭站、辐射站、农气站和自动气象站等。我国建国以来,已建成类型齐全、分布广泛的台站网,台站总数达到2000多个。 国家气象中心每天接收来自国内外主要台站的观测资料,这些资料日积月累,随时间的推移而成为气候资料。国内一部分台站每月将观测记录报表和数字化资料寄送或传输到国家气象中心,这些资料或报表成为气候资料重要的部分。此外,气候资料还包括通过各种渠道收集到的其他学科如水文、地学等资料。
一、公开数据库
常用数据公开网站:
UCI:经典的机器学习、数据挖掘数据集,包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老,但依然活跃在科研学者的视线中。
国家数据:数据来源中华人民共和国国家统计局,包含了我国经济民生等多个方面的数据,并且在月度、季度、年度都有覆盖,全面又权威。
亚马逊:来自亚马逊的跨科学云数据平台,包含化学、生物、经济等多个领域的数据集。
figshare:研究成果共享平台,在这里可以找到来自世界的大牛们的研究成果分享,获取其中的研究数据。
github:一个非常全面的数据获取渠道,包含各个细分领域的数据库资源,自然科学和社会科学的覆盖都很全面,适合做研究和数据分析的人员。
二、利用爬虫可以获得有价值数据
这里给出了一些网站平台,我们可以使用爬虫爬取网站上的数据,某些网站上也给出获取数据的API接口,但需要付费。
1财经数据,2网贷数据;3公司年报;4创投数据;5社交平台;6就业招聘;7餐饮食品;8交通旅游;9电商平台;10影音数据;11房屋信息;12购车租车;13新媒体数据;14分类信息。
三、数据交易平台
由于现在数据的需求很大,也催生了很多做数据交易的平台,当然,出去付费购买的数据,在这些平台,也有很多免费的数据可以获取。
优易数据:由国家信息中心发起,拥有国家级信息资源的数据平台,国内领先的数据交易平台。平台有B2B、B2C两种交易模式,包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。
数据堂:专注于互联网综合数据交易,提供数据交易、处理和数据API服务,包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。

四、网络指数
百度指数:指数查询平台,可以根据指数的变化查看某个主题在各个时间段受关注的情况,进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外,还有需求分析、人群画像等精准分析的工具,对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品,都可以作为参考。
阿里指数:国内权威的商品交易分析工具,可以按地域、按行业查看商品搜索和交易数据,基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况,对于趋势分析、行业观察意义不小。
友盟指数:友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析,对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数,友盟的互联网报告同样是了解互联网趋势的优秀读物。
五、网络采集器
网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容,具有很好的内容收集作用,而且不需要技术成本,被很多用户作为初级的采集工具。
造数:新一代智能云爬虫。爬虫工具中最快的,比其他同类产品快9倍。拥有千万IP,可以轻松发起无数请求,数据保存在云端,安全方便、简单快捷。
火车采集器:一款专业的互联网数据抓取、处理、分析,挖掘软件,可以灵活迅速地抓取网页上散乱分布的数据信息。
八爪鱼:简单实用的采集器,功能齐全, *** 作简单,不用写规则。特有的云采集,关机也可以在云服务器上运行采集任务。
自己写程序的话,一种方法是从已提供的信息源,例如webservice获取数据。还有种办法就是去连接提供即时信息的网页硬解析。
代码举例如下:
Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapifinance%s/%s/code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapifinance%s/akminscode=%s&type=%s'
PAGE_TYPE = {'>
GoldDataSpider 是用于抓取网页和抽取数据的工具。其核心代码是从金色数据抓取融合平台分离而来。
该项目提供抓取和抽取来自网页数据,不仅可以抽取网页内的内容,还能抽取URL、>
中国科学院对地观测与数字地球科学中心存档卫星遥感数据目录服务系统。
中心现实施“对地观测数据共享计划”,用户可免费下载数据。共享数据达到11TB,包括LANDSAT-5、LANDSAT-7、IRS-P6、ENVISAT-1、ERS2卫星数据
以上就是关于如何免费获取中国天气网的城市天气数据全部的内容,包括:如何免费获取中国天气网的城市天气数据、如何获取大数据信息、如何编程从免费股票软件中提取实时数据等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)