网站数据挖掘--基础部分（未完）

标签（空格分隔）： 数据挖掘 数据分析 数据采集

完整的网站数据工作机制包括 数据采集、数据处理和数据报告 三个部分。

数据采集分两层：
1、第一层是通过特定页面或Activity标记实现在线数据采集，在线数据是网站数据的 核心组成 ；
2、第二层是通过外部系统或手动形式导入的外部数据源， 外部数据源是在线数据的拓展 。
在线数据采集根据平台可分为Web站、WAP站和APP站。Web站及以HTML 5开发的WAP站都支持JS脚本采集；较早开发的不支持JS的WAP站则采用NoScript,即一个像素的硬实现数据跟踪；SDK是针对APP进行数据采集的特定方法和框架。这三种方法可以实现目前所有线上数据采集的需求。

这种客户端-服务器的数据采集方法适用于大多数的数据采集需求，但在这种采集方法的前期页面标记需要在用户客户端触发才能实现，如果数据不是通过用户客户端触发，在网站外部则无法收集（比如说支付宝的支付页面）。

由于数据经历了从网站服务器->用户客户端->采集服务器三个节点，从网站服务器到用户客户端的过程可能会有数据丢失的情况，尤其在订单结算等核心信息中，这种客户端-服务器的采集方法可靠性较小。

（注意：不管采用何种采集方法，任何网站分析系统的数据都不可能与企业内部数据系统中的数据完全一致，对网站分析系统中数据准确性的要求是数据误差与企业数据系统误差率较小（通常在5%以下）且数据误差率稳定。）

针对上述情况，某些网站分析系统如Webtrekk支持Server to Server（S-S，网站服务器对采集服务器）的方法进行在线数据采集，避免数据在客户端的中转流失。

所有在线数据采集都会受到采集规则的制约，比如排除特定IP地址的流量、只采集某个域名下的数据等。数据采集规则是数据采集的重要控制节点，如果出现某些排除、隐藏或直接忽视数据的采集规则，将可能导致数据丢失。

（ 不明白为什么SAAS网站分析系统都不能处理历史数据，这意味着如果在数据采集阶段出现数据丢失将会产生无法挽回的后果，建议原始初级采集阶段不设定任何排除规则；如果数据中可能含有大量的内部测试数据，测试环境与生产环境应分账号采集 ）

外部数据接入与在线数据采集是异步进行的。外部接入数据进入网站分析系统后，根据数据处理层的处理规则，在经过数据抽取、加载、转换之后，与在线采集数据整合形成完整的数据源。

外部接入数据的工作流程如下，原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

（考虑到IT人力、物力和时间投入等因素考虑，通过FTP导入数据的方式更易于实现。前期可以考虑使用FTP自动上传的机制，待数据需求稳定切业务实现思路无误后再通过技术手段开发API。）

无线数据采集器是指采用2G网络将采集来的数据,打包成TCP或者UDP发送到远程数据中心服务器的设备一般都叫DTU
DTU是无线数据传输模块,采用2G、3G网络进行远程数据传输的终端模块。其原理是将串口数据打包成TCP或者UDP包进行数据远传。
DTU一般只能传输标准的232、485数据
广泛用于楼宇自动化控制、发电机发电，停车场设备、交通控制、LED屏幕控制、工厂、车间、矿井、银行、电气等遥控领域。
新加坡力可赛 的DTU采用工业级端子接法，可以实现232、485数据传输，同时更具备了强大的功能：
1、代替RTU，直接采集模拟量，做逻辑控制
2、可以用手机短信配置、可以手机短信作为数据备份
3、可以独立加密
4、可以通过指示灯了解设备工作状态，信号状态。
5还有GPS卫星定位功能，24小时管理你的设备。
6 支持telnet功能。
7 支持远程配置，远程控制
8 通过串口软件升级
9 同时支持LINUX、UNIX和WINDOWS *** 作系统
10 支持GPS定位数据上报和查询功能，数据导入google地图即可实现卫星地图精确定位

GIS数据采集器。如掌测天下Q5，就是一款典型的GIS服务器，便携式GIS采集器。它采用的是工业级一体化集成设计，其集GPS、Windows系统、数码相机、麦克风、3G通信、蓝牙通讯、海量存储、USB/RS232端口、SD卡扩展等多种功能于一身/

vmstat 1，文本显示，1代表1s刷新一次
想要曲线的话，把vmstat的结果保存到文本里，然后切到excel下绘图
如果不需要那么短的周期，可用cacti，通过snmp调用，5分钟一个周期。

只显示开停很简单，在电机电源上并一电压传感器，将其转换为数字信号，可以8个一组，用单片机扩展技术，一个单 片机可以“同时”采集多组开停信号，并用定时器（单片机内部有）控制采集时间间隔，每次采信后由单片机通过RS232串口或以太网络接口传至上位机 ，这个单片机程序和上位机程序都比较简单

正常连接无线运营商基站或服务器。采集终端拨号成功则说明终端已经正常连接无线运营商基站或服务器，无线运营商基站或服务器至计量自动化主站的通道出现异常。数据采集终端是指具备电话、数据采集、计算、存储、定位、通信、拍照、蓝牙、网络等多种功能的便携式终端设备，主要应用于工业领域。

       DLMS通讯过程共有三层，包括以下 物理层，链路层，应用层。每层通讯都是CS模式，数据请求端为C，数据提供端为S。此处的CS对应关系不是固定，比如DCU设备（采集器）它既可以作为智能终端的server端，也可以作为网关服务器的client端（即DCU实现采集智能终端数据，且上报给网关服务器要建立两次DLMS通讯）

一，建立物理层连接

        物理层通讯是整个通讯模型的最底层，物理层的做用主要是对底层通讯硬件的 *** 做，比如硬件设备通讯硬件的初始化，打开，关闭。

二，建立链路层连接

        物理层连接通过后，即可开始进行链路层的通讯，链路层主要作用是CS建立稳定可靠的连接（类似于>