数据采集工具有哪些

如下：

1、NSLOOKUP

nslookup命令几乎在所有的PC *** 作系统上都有安装，用于查询DNS的记录，查看域名解析是否正常，在网络故障的时候用来诊断网络问题。信息安全人员，可以通过返回的信息进行信息搜集。

2、DIG

Dig也是对DNS信息进行搜集的工具，dig 相比nsllooup不光功能更丰富，首先通过默认的上连DNS服务器去查询对应的IP地址，然后再以设置的dnsserver为上连DNS服务器。

3、Whois

whois就是一个用来查询域名是否已经被注册，以及注册域名的详细信息的数据库（如域名所有人、域名注册商）。通过whois来实现对域名信息的查询。早期的whois查询多以命令列接口存在，但是现在出现了一些网页接口简化的线上查询工具，可以一次向不同的数据库查询。

网页接口的查询工具仍然依赖whois协议向服务器发送查询请求，命令列接口的工具仍然被系统管理员广泛使用。whois通常使用TCP协议43端口。每个域名/IP的whois信息由对应的管理机构保存。

5、主动信息搜集

Recon-ng是一个信息搜集的框架，它之于信息搜集完全可以和exploit之于metasploit framework、社会工程学之于SET。

5、主动信息搜集

主动信息搜集是利用一些工具和手段，与搜集的目标发生一些交互，从而获得目标信息的一种行为。主动信息搜集的过程中无法避免会留下一些痕迹。

数字化监控平台前端应用监控数据采集采用主动方式和被动方式。主动方式主要通过监控终端/服务器直接访问被监控对象的方式获取监控信息。被动方式采用的是在被监控对象端安装一个终端的方式实现监控信息的获取，然后监控终端将采集到的信息上传到监控服务器，从而实现信息的采集。所以数字化监控平台前端应用监控数据采集采用主动方式和被动方式。

　无线数据采集器对于普通的仓储物流、零售应用来讲，跳频技术由于其抗干扰能力较强，数据传输稳定，所以采用较广泛。那么无线数据采集器与计算机系统的连接基本上采用三种方式，

1、B/S结构：在无线数据采集器上面内嵌浏览器，通过>1、网站日志文件：是做原始的数据获取方式，主要在服务端完成，在网站的应用服务器配置相应的写日志的功能就能实现。
优势：完整的服务端请求记录，包括爬虫等的请求；
缺陷：（1）、日志的获取和清洗过滤成本较高;（2）、无用日志对统计干扰造成数据不准确；（3）灵活性有限（页面端很多 *** 作无法记录）。
2、Web Beacons:实现方式是在需要统计的网站页面或者模块上嵌入一个11像素的透明，用户完全察觉不到，当用户访问该网友的同时会请求透明，并完成页面访问的记录工作，就像是在纸上画一个不易察觉的小点来标记那张纸。它实现了日志记录服务器与网站应用服务器的分离。
优势：（1）、日志服务器与应用服务器分离；（2）、数据获取的可控性使日志处理成本降低。
缺陷：（1）、需要在页面植入小；（2）、获取信息比较有限；（3）、无法获取蜘蛛等不请求的访问记录。
3、JS页面标记：是Web Beacons的改进，是在页面端嵌入JS标记代码，当用户访问网页时同时执行JS代码，JS代码会将一些统计需要的信息以URL参数的形式附带在请求地址的后面，然后再向服务器请求，这样日志服务器就可以获取比较完整的访问数据啦。
优势：（1）、数据获取的可控性和灵活性较高；（2）、可以对页面端 *** 作进行记录；（3）、获取的数据比较完整丰富。
缺陷：（1）、需要在页面植入JS标记代码；（2）、当用户禁用JS功能时无法获取数据；（3）、无法获取蜘蛛等不请求JS的访问记录。

标签（空格分隔）： 数据挖掘 数据分析 数据采集

完整的网站数据工作机制包括 数据采集、数据处理和数据报告 三个部分。

数据采集分两层：
1、第一层是通过特定页面或Activity标记实现在线数据采集，在线数据是网站数据的 核心组成 ；
2、第二层是通过外部系统或手动形式导入的外部数据源， 外部数据源是在线数据的拓展 。
在线数据采集根据平台可分为Web站、WAP站和APP站。Web站及以HTML 5开发的WAP站都支持JS脚本采集；较早开发的不支持JS的WAP站则采用NoScript,即一个像素的硬实现数据跟踪；SDK是针对APP进行数据采集的特定方法和框架。这三种方法可以实现目前所有线上数据采集的需求。

这种客户端-服务器的数据采集方法适用于大多数的数据采集需求，但在这种采集方法的前期页面标记需要在用户客户端触发才能实现，如果数据不是通过用户客户端触发，在网站外部则无法收集（比如说支付宝的支付页面）。

由于数据经历了从网站服务器->用户客户端->采集服务器三个节点，从网站服务器到用户客户端的过程可能会有数据丢失的情况，尤其在订单结算等核心信息中，这种客户端-服务器的采集方法可靠性较小。

（注意：不管采用何种采集方法，任何网站分析系统的数据都不可能与企业内部数据系统中的数据完全一致，对网站分析系统中数据准确性的要求是数据误差与企业数据系统误差率较小（通常在5%以下）且数据误差率稳定。）

针对上述情况，某些网站分析系统如Webtrekk支持Server to Server（S-S，网站服务器对采集服务器）的方法进行在线数据采集，避免数据在客户端的中转流失。

所有在线数据采集都会受到采集规则的制约，比如排除特定IP地址的流量、只采集某个域名下的数据等。数据采集规则是数据采集的重要控制节点，如果出现某些排除、隐藏或直接忽视数据的采集规则，将可能导致数据丢失。

（ 不明白为什么SAAS网站分析系统都不能处理历史数据，这意味着如果在数据采集阶段出现数据丢失将会产生无法挽回的后果，建议原始初级采集阶段不设定任何排除规则；如果数据中可能含有大量的内部测试数据，测试环境与生产环境应分账号采集 ）

外部数据接入与在线数据采集是异步进行的。外部接入数据进入网站分析系统后，根据数据处理层的处理规则，在经过数据抽取、加载、转换之后，与在线采集数据整合形成完整的数据源。

外部接入数据的工作流程如下，原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

原始的外部数据（文档、服务器日志、在线其他系统数据、离线数据）通过自动或人工整理形成符合特定规范的数据文件或带制表符分隔的数据文档，然后根据接入机制的不同完成数据的整合工作。

（考虑到IT人力、物力和时间投入等因素考虑，通过FTP导入数据的方式更易于实现。前期可以考虑使用FTP自动上传的机制，待数据需求稳定切业务实现思路无误后再通过技术手段开发API。）

---