C#做一个数据采集的程序,采集

C#做一个数据采集的程序,采集,第1张

C#开发数据采集系统简单来说有几个重点。

1. 开发或下载c#可以访问的驱动或通讯协议。许多通讯协议目前都有c#版本。

2. 编写数据采集代码,存放于实时数据库中。

3. 实时数据库只存放一定周期的数据,比如一天、一周、一月的数据,此数据是raw data。之前的数据需规整到ODS数据库里;ODS的数据可能是raw data,也可能是raw data的统计数据。

这么具体的问题,找通用demo很难啊,个人觉得问题的难点不在Python。

1. 获取什么服务器性能数据和如何获取,可以请教公司内部运维。

2. 获取什么数据库性能数据和如何获取,可以请教公司内部DBA。

3. 以上两点搞定了,才能确定临时数据存储结构和最终数据库表结构。

以上三点是关键,Python的事情就简单多了,提供一种思路:一分钟一次,实时性不高,每台服务器用cron部署一个a.py,用于获取性能数据,在某一台服务器有一个b.py,负责获取所有服务器a.py产生的数据,然后写入数据库;a.py如何上报到b.py取决于你擅长什么,如果熟悉网络编程,用a.py做客户端上报到服务端b.py,如果熟悉shell的文件同步(如rsync),a.py只写本地文件,b.py调用c.sh(封装rsync)拉取远程文件。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/6694510.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-26
下一篇 2023-03-26

发表评论

登录后才能评论

评论列表(0条)

保存