大数据常用哪些数据库(什么是大数据库)

通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、SQLServer、Oracle、DB2、SyBase、Informix、PostgreSQL以及比较小型的Aess等等数据库，这些数据库支持复杂的SQL *** 作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。

大数据时代初期，随着数据请求并发量大不断增大，一般都是采用的集群同步数据的方式处理，就是将数据库分成了很多的小库，每个数据库的数据内容是不变的，都是保存了源数据库的数据副本，通过同步或者异步方式保证数据的一致性，每个库设定特定的读写方式，比如主数据库负责写 *** 作，从数据库是负责读 *** 作，等等根据业务复杂程度以此类推，将业务在物理层面上进行了分离，但是这种方式依旧存在一定的负载压力的问题，企业数据在不断的扩增中，后面就采用分库分表的方式解决，对读写负载进行分离，但是这种实现依旧存在不足，且需要不断进行数据库服务器扩容。

NoSQL数据库大致分为5种类型

1、列族数据库：BigTable、HBase、Cassandra、AmazonSimpleDB、HadoopDB等，下面简单介绍几个

（1）Cassandra：Cassandra是一个列存储数据库，支持跨数据中心的数据复制。它的数据模型提供列索引，log-structured修改，支持反规范化，实体化视图和嵌入超高速缓存。

（2）HBase：ApacheHbase源于Google的Bigtable，是一个开源、分布式、面向列存储的模型。在Hadoop和HDFS之上提供了像Bigtable一样的功能。

（3）AmazonSimpleDB：AmazonSimpleDB是一个非关系型数据存储，它卸下数据库管理的工作。开发者使用Web服务请求存储和查询数据项

（4）ApacheAumulo：ApacheAumulo的有序的、分布式键值数据存储，基于Google的BigTable设计，建立在ApacheHadoop、Zookeeper和Thrift技术之上。

（5）Hypertable：Hypertable是一个开源、可扩展的数据库，模仿Bigtable，支持分片。

（6）AzureTables：WindowsAzureTableStorageService为要求大量非结构化数据存储的应用提供NoSQL性能。表能够自动扩展到TB级别，能通过REST和ManagedAPI访问。

2、键值数据库：Redis、SimpleDB、Scalaris、Memcached等，下面简单介绍几个

（1）Riak：Riak是一个开源，分布式键值数据库，支持数据复制和容错。（2）Redis：Redis是一个开源的键值存储。支持主从式复制、事务，Pub/Sub、Lua脚本，还支持给Key添加时限。

（3）Dynamo：Dynamo是一个键值分布式数据存储。它直接由亚马逊Dynamo数据库实现；在亚马逊S3产品中使用。

（4）OracleNoSQLDatabase：来自Oracle的键值NoSQL数据库。它支持事务ACID（原子性、一致性、持久性和独立性）和JSON。

（5）OracleNoSQLDatabase：具备数据备份和分布式键值存储系统。

（6）Voldemort：具备数据备份和分布式键值存储系统。

（7）Aerospike：Aerospike数据库是一个键值存储，支持混合内存架构，通过强一致性和可调一致性保证数据的完整性。

3、文档数据库：MongoDB、CouchDB、Perservere、Terrastore、RavenDB等，下面简单介绍几个

（1）MongoDB：开源、面向文档，也是当下最人气的NoSQL数据库。

（2）CounchDB：ApacheCounchDB是一个使用JSON的文档数据库，使用Javascript做MapRece查询，以及一个使用>

（3）Couchbase：NoSQL文档数据库基于JSON模型。

（4）RavenDB：RavenDB是一个基于NET语言的面向文档数据库。

（5）MarkLogic：MarkLogicNoSQL数据库用来存储基于XML和以文档为中心的信息，支持灵活的模式。

4、图数据库：Neo4J、InfoGrid、OrientDB、GraphDB，下面简单介绍几个

（1）Neo4j：Neo4j是一个图数据库；支持ACID事务（原子性、独立性、持久性和一致性）。

（2）：一个图数据库用来维持和遍历对象间的关系，支持分布式数据存储。

（3）：是结合使用了内存和磁盘，提供了高可扩展性，支持SPARQ、RDFS和Prolog推理。

5、内存数据网格：Hazelcast、OracleCoherence、TerracottaBigMemorry、GemFire、Infinispan、GridGain、GigaSpaces，下面简单介绍几个

（1）Hazelcast：HazelcastCE是一个开源数据分布平台，它允许开发者在数据库集群之上共享和分割数据。

（2）OracleCoherence：Oracle的内存数据网格解决方案提供了常用数据的快速访问能力，一致性支持事务处理能力和数据的动态划分。

（3）TerracottaBigMemory：来自Terracotta的分布式内存管理解决方案。这项产品包括一个Ehcache界面、Terracotta管理控制台和BigMemory-Hadoop连接器。

（4）GemFire：VmwarevFabricGemFire是一个分布式数据管理平台，也是一个分布式的数据网格平台，支持内存数据管理、复制、划分、数据识别路由和连续查询。

（5）Infinispan：Infinispan是一个基于Java的开源键值NoSQL数据存储，和分布式数据节点平台，支持事务，peer-to-peer及client/server架构。

（6）GridGain：分布式、面向对象、基于内存、SQLNoSQL键值数据库。支持ACID事务。

（7）GigaSpaces：GigaSpaces内存数据网格能够充当应用的记录系统，并支持各种各样的高速缓存场景。

一个开源的专为物联网、车联网、工业互联网、IT运维等设计和优化的大数据平台。除核心的快10倍以上的时序数据库功能外，还提供缓存、数据订阅、流式计算等功能，最大程度减少研发和运维的工作量

定义了创新的数据存储结构，单核每秒就能处理至少2万次请求，插入数百万个数据点，读出一千万以上数据点，比现有通用数据库快了十倍以上。

由于超强性能，计算资源不到通用大数据方案的1/5；通过列式存储和先进的压缩算法，存储空间不到通用数据库的1/10。

将数据库、消息队列、缓存、流式计算等功能融合一起，应用无需再集成Kafka/Redis/HBase/Spark等软件，大幅降低应用开发和维护成本。

无论是十年前还是一秒钟前的数据，指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。即席查询可通过Shell/Python/R/Matlab随时进行。

不用一行代码，即可与Telegraf, Grafana, Matlab, R集成。后续还将支持MQTT, OPC, Hadoop，Spark等, BI工具也将无缝连接。

你知道哪些好用的开源的物联网大数据处理方式，欢迎评论分享，共同探讨学习

关系型数据库以行和列的形式存储数据，以便于用户理解。这一系列的行和列被称为表，一组表组成了数据库。用户用查询(Query)来检索数据库中的数据。一个Query是一个用于指定数据库中行和列的SELECT语句。关系型数据库通常包含下列组件：
客户端应用程序(Client)
数据库服务器(Server)
数据库(Database)
物联网关系型数据库还是主流，应用于智能家居已经智慧城市领域。

物联网平台为设备提供安全可靠的连接通信能力，向下连接海量设备，支撑设备数据采集上云；向上提供云端API，指令数据通过API调用下发至设备端，实现远程控制。

物联网平台也提供了其他增值能力，如设备管理、规则引擎、数据分析、边缘计算等，为各类IoT场景和行业开发者赋能。

如下是共享单车基于物联网平台的解决方案。
物联网平台提供边缘计算能力，支持在离设备最近的位置构建边缘计算节点处理设备数据。

在断网或弱网情况下，边缘计算可缓存设备数据，网络恢复后，自动将数据同步至云端。

提供多种业务逻辑的开发和运行框架，包括场景联动、函数计算和流式计算，各框架均支持云端开发、动态部署。

边缘计算能力允许在最靠近设备的地方构建边缘计算节点，过滤清洗设备数据，并将处理后的数据上传至云平台。
物联网应用可广泛应用于：智能生活、智能工业、智能楼宇、环境保护、农业水利、能源监控等环境。计算平台主要涉及：

开发者使用设备接入SDK，将非标设备转换成标准物模型，就近接入网关，从而实现设备的管理和控制。

设备连接到网关后，网关可以实现设备数据的采集、流转、存储、分析和上报设备数据至云端，同时网关提供规则引擎、函数计算引擎，方便场景编排和业务扩展。

设备数据上传云端后，可以结合云功能，如大数据、AI学习等，通过标准API接口，实现更多功能和应用。

物联网 (IoT) 设备必须连接互联网。通过连接到互联网，设备就能相互协作，以及与后端服务协同工作。互联网的基础网络协议是 TCP/IP。MQTT（Message Queue Telemetry Transport，消息队列遥测传输） 是基于 TCP/IP 协议栈而构建的，已成为 IoT 通信的标准。

一、数据链路的传输
1/ 各台测量设备将检测信号转换成数字信息，组装成结构化数据，通过网络传输，到达显示终端。
2/采集系统的规则引擎模块对传感器获知的原始数据进行过滤、富化、转换，数字、波动图、柱状图等实时输出， 后台存储到数据库和本地服务器中以备复查。
3/ 服务器将数据通过互联网可以备份到云端，并展示给控制中心和其他终端用户。
二、选择合适的设备和方案
1、在车间生产线采样各种产品参数、专业设备要确定各种监测常量、测宽/测厚/测径/测长/测高/以及截面轮廓等数据，想要获取一些特殊数值，可能还需要定制特种设备。
2、对设备进行选取，传感器监测数据又与之前提到的配置产品这些数据流转方案不同，还需要考虑的是软件终端上面的具体开发。
3、对服务端进行业务开发，确定实现所需功能，确定接收设备数据和下发控制指令。
4、服务端程序，与传感器建立连接，与反馈终端关联，进行整体联调运行，这点就和各个设备端的上报数据有关，也是关键的一步，一定要专业的工作人员安装调试。
关于传感器数据采集方案大约的概述就是如上面说的这样，更加具体的设备选取和解决方案，还是需要大家自己去了解沟通，也希望能对大家有所帮助。

正确的是：必须适应强电磁干扰环境，采用自适应跳频、确定性通信资源调度，无线路由，采用低开销高精度时间同步，网络分层数据加密，异常监视与报警以及设备入网鉴权。

就国内目前的主要市场环境来看，其主要用的是wifi mesh（例如strix的mesh设备）和cofdm mesh（例如winet无线智能宽带网络），前者利用的是wifi技术速率可达几百兆，频率主要用24G和58G，使用全向天线距离大概3-5公里。

物联网

是新一代信息技术的重要组成部分，IT行业又叫：泛互联，意指物物相连，万物万联。由此，“物联网就是物物相连的互联网”。这有两层意思：第一，物联网的核心和基础仍然是互联网，是在互联网基础上的延伸和扩展的网络；第二，其用户端延伸和扩展到了任何物品与物品之间，进行信息交换和通信。

可以使用多种方法来存储物联网设备上报的JSON数据。您可以使用关系型数据库（如MySQL）或NoSQL数据库（如MongoDB）来存储JSON数据。您也可以使用文件系统来存储JSON数据，将JSON数据存储在文本文件或二进制文件中。此外，您还可以使用云存储服务（如Amazon S3）来存储JSON数据。

---