开源库分享--为物联网(IoT)设计和优化的开源大数据

开源库分享--为物联网(IoT)设计和优化的开源大数据,第1张

一个开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外,还提供缓存、数据订阅、流式计算等功能,最大程度减少研发和运维的工作量

定义了创新的数据存储结构,单核每秒就能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快了十倍以上。

由于超强性能,计算资源不到通用大数据方案的1/5;通过列式存储和先进的压缩算法,存储空间不到通用数据库的1/10。

将数据库、消息队列、缓存、流式计算等功能融合一起,应用无需再集成Kafka/Redis/HBase/Spark等软件,大幅降低应用开发和维护成本。

无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。即席查询可通过Shell/Python/R/Matlab随时进行。

不用一行代码,即可与Telegraf, Grafana, Matlab, R集成。后续还将支持MQTT, OPC, Hadoop,Spark等, BI工具也将无缝连接。

你知道哪些好用的开源的物联网大数据处理方式,欢迎评论分享,共同探讨学习

《开源精选》是我们分享Github、Gitee等开源社区中优质项目的栏目,包括技术、学习、实用与各种有趣的内容。本期推荐的是物联网设备网关技术架构设计(Session 管理、心跳管理、数据上行、数据下行)TCP Gateway。

物联网设备网关技术架构设计(Session 管理、心跳管理、数据上行、数据下行)

NioEventLoop 是 Netty 的 Reactor 线程,其角色:

基于Netty构建TCP网关的长连接容器,作为网关接入层提供服务API请求调用。

客户端通过域名+端口访问TCP网关,域名不同的运营商对应不同的VIP,VIP发布在LVS上,LVS将请求转发给后端的HAProxy,再由HAProxy把请求转发给后端的Netty的IP+Port。

LVS转发给后端的HAProxy,请求经过LVS,但是响应是HAProxy直接反馈给客户端的,这也就是LVS的DR模式。

其中步骤一至步骤九是指 Netty 服务端的创建时序,步骤十至步骤十三是 TCP 网关容器创建的时序。

Window 地址 // C:WindowsSystem32driversetchosts

添加 127001 iot-openicloudcom

位置: comibyteiottestserverTestTcpServer

位置: comibyteiottestclientTcpClient

更多内容:>

IOT网关,接收sensor数据的总入口,主要是日志,安全防护,流控,协议转换等功能,

图1 IOT网关

之前有提到IOT网关是基于python的twisted框架实现的,初期的时候该IOT网关主要实现的功能是 数据接收和转换功能 安全防护

数据接收和转换功能 ,这里很简单,拟定好数据交互格式后,IOT网关按照约定好的格式进行解析,然后转发给后端服务进行进一步的处理

安全防护 ,设备的区分主要是依靠烧录到硬件的SN号来实现,SN号包含的信息比较多,如生产批次,设备型号等,受制于厂商我安全防护不能做的非常完善,同时sensor与IOT网关的交互不能非常复杂。安全防护这一块理论上是设备接入要一型一密或者一机一密,协议上还应该启用tls/ssl安全通信协议。

图2 鉴权

安全防护要做ssl这类的安全通信协议的话,要考虑设备厂商实现通信模块能力,设备功耗,设备性能(低端设备cpu性能可能比较差,可考虑对称加密形式),IOT网关也需要引入相应模块。

另外认证从性能方面考虑,后期在设备比较多的情况下,可以加入redis等内存型key-value数据库,缓存设备信息,提高鉴权模块性能。

实践中,我们的sensor基本都是依靠电池供电,因此我们的IOT网关基本是面向短链接(后期我们有监测设备,依靠外部电源直接供电,为长连接),因此在每次发起连接我们都要进行一次鉴权,鉴权通过后,设备方可上传传感器监测数据和设备自身状态。

图3 数据交互流程

这一块的调试工作长达半年左右,才基本稳定下来,主要集中在设备商处除了硬件稳定性,还有在调试中发现传输的字符串乱码(c语言处理问题),沾包(厂商开发人员tcp协议不熟),优化传输效率,关闭cork或者 Nagle 算法(传输包很小)。

因为IOT网关不能主动断连接,理论 *** 作中,IOT网关应该和sensor有心跳协议,保证连接的有效性。设备商在数据流程交互完成后,竟然没有close 连接,直接休眠,导致网关所在服务器的连接的文件描述符一直没有正常释放,后面为了预防这种现象,我开启了 *** 作系统层面的keepalve定时器,回收失效连接(系统默认时间是2小时左右,我缩短了失效时间),理论上来说应该是应用层面去实现心跳协议。

整个IOT网关的设计,是无状态,可伸缩的,单网关在普通型ecs上可轻松达到数百tps。

『壹』 拜请各位大神帮忙解答物联网安全系统毕业课程设计的方向与题目。

物联网
的安全系统,这个开发平台
是什么,数据库等


『贰』 应用电子技术(物联网方向)专业的课程有哪些

电路分析、模拟电子技术、数字电子技术、微机原理与接口技术、电子设计自动化、C语言程序设计、平板电视技术、单片机原理及应用、传感器原理及应用、CPLD/FPGA可编程器件的设计与应用、数字处理DSP芯片原理及应用、ARM嵌入式系统设计、电磁兼容技术、MP3数码产品的设计、电子测量及自动检测技术、毕业设计等。

信号与系统、高频电路、电子测量技术、微机原理及接口技术、单片机技术、视频技术、通信原理、EDA技术、传感器技术应用、智能仪器、移动通信技术、程控交换技术、模拟电子、数字电子、电路分析、C语言、DSP原理、电声技术、PLC技术等。
『叁』 应用电子技术(物联网方向)专业的课程有哪些

物联网可以是一个“专业”,但不一定是一个“学科”。国内有些专家反对设置“物联网专业”,因为定位不清,一个学校往往有好几个院系争夺“物联网专业“的申报,又不是一个明确的学科,难以培养出真正的专业人才,培养出来的人可能是“万精油”,懂得多但是不精,尤其是本科阶段,建议只作为研究生专业,像MBA一样的模式。和目前许多高校设置的“电子商务”专业一样,“电子商务”也有同样的定位不清问题,只要高校设置的物联网专业能够培养出社会需要的专业人才,尤其是跨专业复合型人才,就应该可以设置,不必拘泥于它究竟属于哪个现有的“学科”。 下表列出了一个高校物联网专业课程设置的初步建议,算是抛砖引玉。
课程1、 物联网产业与技术导论 使用电子工业出版社《物联网:技术、应用、标准和商业模式》等等教材。 在学完高等数学,物理,化学,通信原理,数字电路,计算机原理,程序设计原理等课程后开设本课程,全面了解物联网之RFID、M2M、传感网、两化融合等技术与应用。
课程2、C语言程序设计 使用清华大学出版社《C语言程序设计》等教材。 物联网涉及底层编程,C语言为必修课,同时需要了解OSGi,OPC,Silverlight等技术标准。
课程3、Java程序设计 ,使用 机械工业出版社《Java语言程序设计教程》等教材。 物联网应用层,服务器端集成技术,开放Java技术也是必修课,同时需要了解Eclipse,SWT, Flash, HTML5,SaaS等技术。
课程4、无线传感网络概论,使用 无线龙通讯科技出版社《现代无线传感器网络概论》、北京航空航天大学出版社《短距离无线通讯入门与实战》等教材。 学习各种无线RF通讯技术与标准,Zigbee, 蓝牙,WiFi,GPRS,CDMA,3G, 4G, 5G等等 。
课程5、 TCP/IP网络与协议 ,《TCP/IP网络与协议》,清华大学出版社,等教材。 TCP/IP以及OSI网络分层协议标准是所有有线和无线网络协议的基础,Socket编程技术也是基础技能,为必修课。
课程6、嵌入式系统技, 《嵌入式系统技术教程》,人民邮电出版社等教材。 嵌入式系统(包括TinyOS等IoT系统),是物联网感知层和通讯层重要技术, 为必修课。
课程7、传感器技术概论, 《传感器技术》,中国计量出版社,等教材。 物联网专业学生需要对传感器技术与发展,尤其是在应用中如何选用有所了解,但不一定需要了解传感器的设计与生产,对相关的材料科学,生物技术等有深入了解。
课程8、RFID技术概论,《射频识别(RFID)技术原理与应用》,机械工业出版社,等教材。 RFID作为物联网主要技术之一,需要了解,它本身(与智能卡技术融合)可以是一个细分专业或行业,也可以是研究生专业选题方向。
课程9、工业信息化及现场总线技术,《现场总线技术及应用教程》,机械工业出版社,等教材。 工业信息化也是物联网主要应用领域,需要了解,它本身也可以是一个细分专业或行业,也可作为研究生专业选题方向。
课程10、M2M技术概论 , 《M2M: The Wireless Revolution》,TSTC Publishing,等教材。 本书是美国“Texas State Techinical College”推出的M2M专业教材,在美国首次提出了M2M专业教学大纲,M2M也是物联网主要领域,需要了解,建议直接用英文授课。
课程11、物联网软件、标准、与中间件技术 ,《中间件技术原理与应用》,清华大学出版社,《物联网:技术、应用、标准和商业模式》,电子工业出版社,等教材。 物联网产业发展的关键在于应用,软件是灵魂,中间件是产业化的基石,需要学习和了解,尤其是对毕业后有志于物联网技术发展的学生

『肆』 嵌入式系统和物联网方向该学些什么

嵌入式系统和物联网方向,该学些什么?就是学一些计算机相关的


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/dianzi/13438632.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-08-06
下一篇 2023-08-06

发表评论

登录后才能评论

评论列表(0条)