这里采集数据使用到的工具是火车头采集器8.5。
火车头采集器一款互联网数据抓取、处理、分析,挖掘软件,可以抓取网页上散乱分布的数据信息,并通过一系列的分析处理,准确挖掘出所需数据。
特点:采集不限网页,不限内容;
分布式采集系统,提高效率;
支持PHP和C#插件扩展,方便修改处理数据,但需要懂得火车头规则或者正则表达式。
API是一些预先定义的函数,目的是提供应用程序开发人员基于某软件或硬件得以访问一组程序的能力,而又无需访问源码,或理解程序内部工作机制的细节。API服务商在提供数据的同时也在收集用户的信息,这是一个双向过程。
百度地图Web服务API中提供了地点检索服务、正/逆地理编码服务、路线规划、批量算数、时区服务、坐标转换服务及鹰眼轨迹服务等。其中地点检索服务(又名Place API),提供多种场景的地点(POI)检索功能,包括城市检索、周边检索、矩形区域检索。
以通过百度地图API获取绵阳市饭店数据为例。
1.申请百度地图开放平台开发者秘钥
首先打开百度地图开放平台(http://lbsyun.baidu.com/index.php?title=%E9%A6%96%E9%A1%B5),点击右上角控制台,再点击应用管理→我的应用→创建应用,申请开发者秘钥(ak),并选择以下服务项。
2.通过接口获取详细地理信息
开发者可以通过接口获取地点(POI)基础或详细地地理信息。其返回的是Json类型数据(一个区域最大返回数是400,每页最大返回数为20)。当某区域、,某类POI个数多于400时,可以选择把该区域分成子区域进行检索或通过矩形、圆形区域方式进行检索查阅页面中Place检索格式和实例如下:
格式: http://api.map.baidu.com/place/search?&query=关键字&bounds=查询区域&output=输出格式类型&key=用户密钥
实例: http://api.map.baidu.com/place/search?&query=ATM机&bounds=绵阳&output=json&ak=你的密钥 (你的秘钥就是上一步申请得到的)
(什么是Place API详细说明可见此网址https://developer.baidu.com/map/place-api.htm#.E4.BB.80.E4.B9.88.E6.98.AFPlace_API.EF.BC.9F)
其中“关键字”、“查询区域”、“输出格式类型”、“用户秘钥”可以根据自己的需要替换,而page_num为选填项,表示分页码,因为只有设置了page_num字段才会在结果页面中返回标识总条数的total字段,方便在火车采集器中做相关设置,如下:
http://api.map.baidu.com/place/v2/search?&query=饭店&tage=美食&region=绵阳&output=json&page_num=0&ak=kRA0vIfH6UHEVYUAhPLnkS72BwtVBYnI
访问该网址,返回结果如下图:
3.用火车头采集器采集地理信息
在火车头软件中,首先点击左上角的“新建”,然后点击“分组”进入新建界面自己命名然后保存既可。建好分组后,再点击新建。然后点击“任务”,命名为“百度API”。
然后在第一步--采集规则页面,点击“添加”键,在添加开始采集网址页面,选择“批量/多页”方式获取地址格式,在地址格式一栏中填入Place检索链接,并将page_num字段用(*)标识为变量,选择等差数量方式,在项数与返回Json结果中total字段一致,公差为1。
在访问百度地图API接口返回的Json网页中,在需要提取信息处复制该条信息。例如复制此处获得“name”:周肥肠(总店)”,。
在火车头采集器第二步采集内容规则页面,添加标签,标签名填入“名称”,提取数据方式处选择“前后截取”,在标签编辑页用(*)代替要采集的内容,并将要采集内容的前后内容分别填入“开始字符串”、“结束字符串处”。
经度、纬度的获取方式与“名称”方式相同。
添加完成后,点击规则测试页面的“测试”键,对POI的“名称”、“经度”、“纬度”三种标签进行测试,测试可以得到正确获取信息之后,进入“第三步:发布内容设置”页面,选择“方式二:保存为本地Word,Excel,Html,Txt等文件”,并制作与标签相对应的Gsv格式的模板,完成后,点击“保存”按钮,采集数据就完成了。
退回到主界面,在“采网页”及“采内容”下打对勾,点击开始任务,即可完成百度地图绵阳市饭店的数据获取。
添加ModbusRTU协议,云端采集,点击添加锦浪云APP是一款协助企业客户与终端业主监控管理太阳能光伏电站的智能APP可以帮助用户。锦浪云App功能特色:
实时精准数据:用户可以查看电站及设备各项实时数据,数据精准,表达清晰,电量,收益,设备状况随时随地掌控
电站日常运维:用户可以日常新建电站,新建用户,查看各种数据(发电量,满发小时数,安装商总览数据等良好用户体验
电站报警与维护:设备故障实时报警通知客户,可快速联系相关人员处理,也可提交一键工单处理
多维度报表分析:用户可以导出所有电站的电站信息(日,月,年,总发电量等)
体检您的设备健康状况:用户可以主动发起AI曲线体检,排查设备组串级故障权限分级:A.安装商(经销商)B.子账号(用于协助安装商)C.业主安装商权限管理子账号与业主,不用担心 *** 作失误带来的损失
管理功能:用户可以快速有效的管理电站,管理用户,及管理下级子账号
1 首先,需要确保手持数据采集器和浩顺云端连接的设备都处于同一网络环境中。2 然后,在浩顺云端软件中选择“设备管理”,点击“添加设备”,选择手持数据采集器类型并输入设备信息。
3 接下来,在手持数据采集器上打开采集器软件,选择“设置”菜单,点击“网络设置”,输入浩顺云端服务器地址和端口号。
4 最后,返回浩顺云端软件,在设备管理界面中找到已添加的手持数据采集器,点击“连接”按钮即可完成连接。
延伸:浩顺云端是一款功能强大的物流管理软件,除了与手持数据采集器连接外,还可以实现订单管理、仓库管理、运输管理等多种功能,大大提高了物流管理效率和精度。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)