“很多人还没搞清楚什么是PC互联网,移动互联网来了,我们还没搞清楚移动互联的时候,大数据时代又来了。”——马云卸任演讲
本文尝试从三大产业的角度将大数据的核心商业价值分类讨论。
首先例举一些大数据的典型应用,然后解释大数据的定义,最后总结大数据的价值。
我们知道:
第一次工业革命以煤炭为基础,蒸汽机和印刷术为标志,
第二次工业革命以石油为基础,内燃机和电信技术为标志,
第三次工业革命以核能基础,互联网技术为标志,
第四次工业革命以可再生能源为基础,_________为标志。
空白处你会填上什么?欢迎大家讨论。但是目前可以预测的是,数据和内容作为互联网的核心,不论是传统行业还是新型行业,谁率先与互联网融合成功,能够从大数据的金矿中发现暗藏的规律,就能够抢占先机,成为技术改革的标志。
一、大数据的应用
大数据挖掘商业价值的方法主要分为四种:
客户群体细分,然后为每个群体量定制特别的服务。
模拟现实环境,发掘新的需求同时提高投资的回报率。
加强部门联系,提高整条管理链条和产业链条的效率。
降低服务成本,发现隐藏线索进行产品和服务的创新。
Mckinsey列出了各个行业利用大数据价值的难易度以及发展潜力。《Big data: The next frontier for innovation, competition, and productivity》
各种Data之间的关系图,注意Open Data是完全包含了Open government data(政府开放数据)
Mckinsey也列出了Open Data时代里七大行业潜在的经济价值,自上而下分别是教育,运输,消费品、电力、石油与天然气、医疗护理、消费金融。(感谢知友安阳提供的补充链接资料)
大数据的类型大致可分为三类:
传统企业数据(Traditional enterprise data):包括 CRM systems的消费者数据,传统的ERP数据,库存数据以及账目数据等。
机器和传感器数据(Machine-generated /sensor data):包括呼叫记录(Call Detail Records),智能仪表,工业设备传感器,设备日志(通常是Digital exhaust),交易数据等。
社交数据(Social data):包括用户行为记录,反馈数据等。如Twitter,Facebook这样的社交媒体平台。
从理论上来看:所有产业都会从大数据的发展中受益。但由于数据缺乏以及从业人员本身的原因,第一、第二产业的发展速度相对于第三产业来说会迟缓一些。
(2)第二产业
2013年9月,工业和信息化部发布了《关于印发信息化和工业化深度融合专项行动计划(2013-2018年)》的通知。明确提出推动物联网在工业领域的集成创新和应用:
实施物联网发展专项,在重点行业组织开展试点示范,以传感器和传感器网络、RFID、工业大数据的应用为切入点,重点支持生产过程控制、生产环境检测、制造供应链跟踪、远程诊断管理等物联网应用,促进经济效益提升、安全生产和节能减排。
大数据的业务多是数据驱动型,具有数据量大、种类多、实时性高的特点。工业企业对数据的记录以往看来主要分为两种方法:传统的纸笔和Excel电子表格记录。这些 *** 作起来看似简单的数据管理方式为企业生产及质量监控埋下了巨大的隐患,也让数据挖掘无从谈起。
随着信息化与工业化的融合发展,信息技术渗透到了工业企业产业链的各个环节。例如Sensor、RFID、Barcode、物联网等技术已经在企业中得到初步应用,工业大数据也开始逐渐得到积累。企业中生产线高速运转时机器所产生的数据量不亚于计算机数据,而且数据类型多是非结构化数据,对数据的实时性要求也更高。因此工业大数据所面临的问题和挑战很多,所以通用电气公司(General Electric)的副总裁兼全球技术总监William Ruh认为相对于工业大数据来说,工业互联网(Industrial Internet)才是当前急需的,因为大数据本身并没有让信息的提取更加智能,业务比数据本身更加重要。他举了一个核磁共振成像扫描的例子:
Here’s an example An MRI scan is the best way to see inside the human body While effective in helping to diagnose multiple sclerosis, brain tumors, torn ligaments and strokes, the data produced by an MRI machine is disconnected from the person that needs it the most
At a very simplistic level, there are many individuals working as a team to make the scan happen A nurse administers medications or contrast agents that may be needed for the exam; an MRI technologist operates the scanner; and a radiologist identifies the imaging sequences to be used and interprets the images This information is then given to the nurse, who then passes it to the primary doctor to review and take action accordingly This is Big Data, but it is not making information more intelligent
又如在工业中,压力、温度等数据的特点是需要语境才能理解的。燃气轮机排气装置上的温度读数与一台机车的内部温度是完全不同的。燃气轮机改善热敷需要使用非常复杂的算法运行模型。在笔记本电脑上,一个典型的查询要获得答案一般需要三个星期。在基于大数据的分布式系统上发布同样的查询执行一种计算只需要不到一秒钟。
第三方认证机构(TÜV NORD GROUP),工业
德国汉德技术监督服务有限公司的前身是德国锅炉检验协会(简称TÜV)早在1869年,德国锅炉检验协会就承担了德国国内所有锅炉运行安全的检验工作,保证了锅炉生产的安全。渐渐的,德国锅炉检验协会取得了德国政府的授权,开展对其他产品的检验工作,从采矿,电力系统开始,到压力容器,机动车辆,医疗设备,环境保护,宇航工业,医疗产品等等,现在的德国汉德技术监督服务有限公司已经成为了许许多多产品的安全代号。主要体系认证包括企业质量管理体系,生产环境体系,生产碳排放方案等。TÜV当前从建筑绿色标准体系方面提出了对于大数据能源管理的探索,以微软新总部,蒂森克虏伯电梯总部为例,在整个项目实施中引入大数据能源管理,在建筑的设计规划阶段、施工阶段、运营阶段等多个阶段通过数据化的能源管理系统,实现建筑的低碳、绿色、智能。
工业自动化软件商(Wonderware ),工业
Wonderware作为系统软件涉及的专业企业,对于大数据的计算和运用是从比较“IT”的角度出发的。Wonderware 的实时数据管理软件能够提供一个工厂所需要的从建立到报废的所有实时数据。目前已经退出移动版本,工程总监在手机上就能够随时随地监控设备的运行状况。目前全球超过三分之一的工厂应用Wonderware公司的软件解决方案。
了解更多:
大数据在电力行业的应用前景有哪些?
(3)第三产业
这一个部分的内容比较多。这里只提出一些典型的应用例子,欢迎补充。
健康与医疗:Fitbit® Official Site: Flex, One and Zip Wireless Activity and Sleep Trackers的健身腕带可以收集有关我们走路或者慢跑的数据,例如行走步数、卡路里消耗、睡眠时长等数据与健康记录来改善我们的健康状况;Early Detection of Patient Deterioration等公司正在开发床垫监测传感器,自动监测和记录心脏速率、呼吸速率、运动和睡眠活动。该传感器收集的数据以无线方式被发送到智能手机和平板电脑进行进一步分析;美国公共卫生协会(APHA: American Public Health Association)开发Flu Near You用来的症状,通过大数据分析生成报告显示用户所在地区的流感活动。
视频:互联网电视能够追踪你正在看的内容,看了多长时间,甚至能够识别多少人坐在电视机前,来确定这个频道的流行度。Netflix 美国国内规模最大的商业视频流供应商,收集的数据包括用户在看什么、喜欢在什么时段观看、在哪里观看以及使用哪些设备观看等。甚至记录用户在哪视频的哪个时间点后退、快进或者暂停,乃至看到哪里直接将视频关掉等信息。典型的应用是Netflix公司利用数据说服BBC重新翻拍了电视连结剧《纸牌屋》,而且成功的挖掘出演员Kevin Spacey和导演David Fincher的支持者与原剧集粉丝的关联性,确定新剧拍摄的最佳人选。
When the program, a remake of a BBC miniseries, was up for purchase in 2011 with David Fincher and Kevin Spacey attached, the folks at Netflix simply looked at their massive stash of data Subscribers who watched the original series, they found, were also likely to watch movies directed by David Fincher and enjoy ones that starred Kevin Spacey Considering the material and the players involved, the company was sure that an audience was out there
交通:《车来了》通过分析公交车上GPS定位系统每天的位置和时间数据,结合时刻表预测出每一辆公交车的到站时间;WNYC开发的Transit Time NYC通过开源行程平台(Github:OpenTripPlanner和MTA )获取的数据将纽约市划分成2930个六边形,模拟出从每一个六边形中点到边缘的时间(地铁和步行,时间是上午九点),最终建模出4290985条虚拟线路。用户只需点击地图或者输入地址就能知道地铁到达每个位置的时间;实时交通数据采集商INRIX-Traffic的口号是(永不迟到!^^),通过记录每位用户在行驶过程中的实时数据例如行驶车速,所在位置等信息并进行数据汇总分析,而后计算出最佳线路,让用户能够避开拥堵。
电子商务:Decide 是一家预测商品价格并为消费者提出购买时间建议的创业公司,通过抓取亚马逊、百思买、新蛋及全球各大网站上数以十亿计的数据进行分析,最终整合在一个页面中方便消费者对比查看,并且能够预测产品的价格趋势,帮助用户确定商品的最好购买时机。已经于2013年被 eBay收购。
政治:奥巴马在总统竞选中使用大数据分析来收集选民的数据,让他可以专注于对他最感兴趣的选民,谷歌执行董事长Eric Schmidt当时向奥巴马的大数据分析团队投资数百万美元并聚拢核心成员成立了Civis Analytics咨询公司,该公司将会将在奥巴马连任竞选中所获得的经验应用到商业和非营利行业中。(了解更多可以看看MIT technology的文章The Definitive Story of How President Obama Mined Voter Data to Win A Second Term)
金融:ZestFinance | Big Data Underwriting 是由是Google的前任 CIO,Douglas Merrill创立金融数据分析服务提供商,使用机器学习算法和大数据为放款者提供承保模式,旨在为那些个人信用不良或者不满足传统银行贷款资格的个人提供服务。公司使用分析模型对每位信贷申请人的上万条原始信息数据进行分析,只需几秒时间便可以得出超过十万个行为指标。目前违约率比行业平均水平低 60%左右。另外一个不得不提到的是风险管理先驱者FICO | Predictive Analytics, Big Data Analytics and FICO Credit Scores,通过大数据分析为银行和xyk发卡机构、保险、医疗保健、政府和零售行业提供服务。FICO 信用分计算的基本思想是:把借款人过去的信用历史资料与数据库中的全体借款人的信用习惯相比较,检查借款人的发展趋势跟经常违约、随意透支、甚至申请破产等各种陷入财务困境的借款人的发展趋势是否相似。FICO 已经为三分之二的世界 100 强银行提供服务,提高了客户忠诚度和盈利率、减少欺诈损失、管理信贷风险、满足监管与竞争要求并快速获取市场份额。想了解更多的企业可以看看附录中《经济学人》的文章《Big data: Crunching the numbers》。
电信: 美国T-mobiles采用Informatica - The Data Integration Company平台开展大数据工作,通过集成数据综合分析客户流失的原因,根据分析结果优化网络布局为客户提供了更好的体验,在一个季度内将流失率减半;韩国 SK telecom新成立一家公司SK Planet,通过大数据分析用户的使用行为,在用户做出决定之前推出符合用户兴趣的业务防止用户流失。美国AT&T 公司将记录用户在Wifi网络中的地理位置、网络浏览历史记录以及使用的应用等数据销售给广告客户。比如当用户距离商家很近时,就有可能收到该商家提供的折扣很大的电子优惠券。英国BT - Broadband公司发布了新的安全数据分析服务Assure Analytics—BT news releases,帮助企业收集、管理和评估大数据集,将这些数据通过可视化的方式呈现给企业,帮助企业改进决策。
一般来说盈利性质的商业公司和企业都不会轻易泄露自己的数据、建模方法和分析过程,所以还有很多大家不知道的神秘应用潜伏在黑暗里,如同《三体》中的”黑暗森林法则“。
宇宙就是一座黑暗森林,每个文明都是带q的猎人,像幽灵般潜行于林间,轻轻拨开挡路的树枝,竭力不让脚步发出一点儿声音,连呼吸都必须小心翼翼:他必须小心,因为林中到处都有与他一样潜行的猎人,如果他发现了别的生命,能做的只有一件事:开q消灭之。在这片森林中,他人就是地狱,就是永恒的威胁,任何暴露自己存在的生命都将很快被消灭,这就是宇宙文明的图景,这就是对费米悖论的解释。
二、大数据的定义
大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。
数据体量巨大(Volume)。截至目前,人类生产的所有印刷材料的数据量是200PB,而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。
数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、、地理位置信息等,这些多类型的数据对数据的处理能力提出了更高要求。
价值密度低(Value)。价值密度的高低与数据总量的大小成反比。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。
处理速度快(Velocity)。大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到352ZB。
看看专家们怎么说。
舍恩伯格,大数据时代 (豆瓣)
不是随机样本,而是全体数据;不是精确性,而是混杂性;不是因果关系,而是相关关系。
埃里克·西格尔,大数据预测 (豆瓣)
大数据时代下的核心,预测分析已在商业和社会中得到广泛应用。随着越来越多的数据被记录和整理,未来预测分析必定会成为所有领域的关键技术。
城田真琴,大数据的冲击 (豆瓣)
从数据的类别上看,“大数据”指的是无法使用传统流程或工具处理或分析的信息。 它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。
三、大数据的价值
了解了大数据的典型应用,理解了大数据的定义。这时相信在每个人的心中,关于大数据的价值都有了自己的答案。
2010年《Science》上刊登了一篇文章指出,虽然人们的出行的模式有很大不同,但我们大多数人同样是可以预测的。这意味着我们能够根据个体之前的行为轨迹预测他或者她未来行踪的可能性,即93%的人类行为可预测。
Limits of Predictability in Human Mobility
A range of applications, from predicting the spread of human and electronic viruses to city planning and resource management in mobile communications, depend on our ability to foresee the whereabouts and mobility of individuals, raising a fundamental question: To what degree is human behavior predictable Here we explore the limits of predictability in human dynamics by studying the mobility patterns of anonymized mobile phone users By measuring the entropy of each individual’s trajectory, we find a 93% potential predictability in user mobility across the whole user base Despite the significant differences in the travel patterns, we find a remarkable lack of variability in predictability, which is largely independent of the distance users cover on a regular basis
而大数定理告诉我们,在试验不变的条件下,重复试验多次,随机事件的频率近似于它概率。“有规律的随机事件”在大量重复出现的条件下,往往呈现几乎必然的统计特性。
举个例子,我们向上抛一枚硬币,硬币落下后哪一面朝上本来是偶然的,但当我们上抛硬币的次数足够多后,达到上万次甚至几十万几百万次以后,我们就会发现,硬币每一面向上的次数约占总次数的二分之一。偶然中包含着某种必然。
随着计算机的处理能力的日益强大,你能获得的数据量越大,你能挖掘到的价值就越多。
实验的不断反复、大数据的日渐积累让人类发现规律,预测未来不再是科幻里的读心术。
如果银行能及时地了解风险,我们的经济将更加强大。
如果政府能够降低欺诈开支,我们的税收将更加合理。
如果医院能够更早发现疾病,我们的身体将更加健康。
如果电信公司能够降低成本,我们的话费将更加便宜。
如果交通动态天气能够掌握,我们的出行将更加方便。
如果商场能够动态调整库存,我们的商品将更加实惠。
最终,我们都将从大数据分析中获益。
四、结束语。
Here's the thing about the future关于未来有一个重要的特征
Every time you look at it,每一次你看到了未来
it changes because you looked at it它会跟着发生改变 因为你看到了它
And that changes everything else然后其它事也跟着一起改变了
数据本身不产生价值,如何分析和利用大数据对业务产生帮助才是关键。
祝每一个DMer都挖掘到金矿和快乐:)
时序数据与截面数据能解决多重共线性 请参考下面时序数据库白皮书。
思极有容数据库
时序数据库技术白皮书
北京中电普华信息技术有限公司
2020年4月
目 录
1 大数据时代的挑战 1
2 产品特点 1
3 系统结构 2
4 存储结构 4
5 数据分区、水平扩展 6
6 高可靠系统 7
7 STable:多表聚合 9
8 数据模型 10
9 实时流式计算 11
10 便捷的安装、部署、维护 12
11 更多亮点 13
12 参数指标 13
13 应用场景 14
1 大数据时代的挑战
随着移动互联网的普及,数据通讯成本的急剧下降,以及各种低成本的传感技术和智能设备的出现,除传统的手机、计算机在实时采集数据之外,手环、共享单车、出租车、智能电表、环境监测设备、电梯、大型设备、工业生产线等也都在源源不断的产生海量的实时数据并发往云端。这些海量数据是企业宝贵的财富,能够帮助企业实时监控业务或设备的运行情况,生成各种维度的报表,而且通过大数据分析和机器学习,对业务进行预测和预警,能够帮助企业进行科学决策、节约成本并创造新的价值。
仔细研究发现,所有机器、设备、传感器、以及交易系统所产生的数据都是时序的,而且很多还带有位置信息。这些数据具有明显的特征,1: 数据是时序的,一定带有时间戳;2:数据是结构化的;3: 数据极少有更新或删除 *** 作;4:无需传统数据库的事务处理;5:相对互联网应用,写多读少;6:用户关注的是一段时间的趋势,而不是某一特点时间点的值;7: 数据是有保留期限的;8:数据的查询分析一定是基于时间段和地理区域的;9:除存储查询外,往往还需要各种统计和实时计算 *** 作;10:数据量巨大,一天采集的数据就可以超过100亿条。
看似简单的事情,但由于数据记录条数巨大,导致数据的实时写入成为瓶颈,查询分析极为缓慢,成为新的技术挑战。传统的关系型数据库或NoSQL数据库以及流式计算引擎由于没有充分利用这些数据的特点,性能提升极为有限,只能依靠集群技术,投入更多的计算资源和存储资源来处理,企业运营维护成本急剧上升。
2 产品特点
思极有容时序数据库正是普华公司面对这一高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品,它不依赖任何第三方软件,也不是优化或包装了一个开源的数据库或流式计算产品,而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等软件的优点之后自主开发的产品,在时序空间大数据处理上,有着自己独到的优势。
· 10倍以上的性能提升:定义了创新的数据存储结构,单核每秒就能处理至少2万次请求,插入数百万个数据点,读出一千万以上数据点,比现有通用数据库快了十倍以上。
· 硬件或云服务成本降至1/5:由于超强性能,计算资源不到通用大数据方案的1/5;通过列式存储和先进的压缩算法,存储空间不到通用数据库的1/10。
· 全栈时序数据处理引擎:将数据库、消息队列、缓存、流式计算等功能融合一起,应用无需再集成Kafka/Redis/HBase/HDFS等软件,大幅降低应用开发和维护的复杂度成本。
· 强大的分析功能:无论是十年前还是一秒钟前的数据,指定时间范围即可查询。数据可在时间轴上或多个设备上进行聚合。临时查询可通过Shell, Python, R, Matlab随时进行。
· 与第三方工具无缝连接:不用一行代码,即可与Telegraf, Grafana, Matlab, R等工具集成。后续将支持MQTT, OPC等工具, 与BI工具也能够无缝连接。
· 零运维成本、零学习成本:安装、集群一秒搞定,无需分库分表,实时备份。支持标准SQL语句,支持JDBC, RESTful连接, 支持Python/Java/C/C++/Go等开发语言, 与MySQL相似,零学习成本。
采用思极有容时序数据库,可将典型的物联网、车联网、工业互联网大数据平台的整体成本降至现有的1/5。同样的硬件资源,思极有容时序数据库能将系统处理能力和容量增加五倍以上。
3 系统结构
思极有容时序数据库是基于硬件、软件系统不可靠、一定会有故障的假设进行设计的,是基于任何单台计算机都无足够能力处理海量数据的假设进行设计的,因此思极有容时序数据库从研发的第一天起,就是按照分布式高可靠架构进行设计的,是完全去中心化的。思极有容时序数据库整个系统结构如下图所示,下面对一些基本概念进行介绍。
物理节点:集群里的任何一台物理机器(dnode),根据其具体的CPU、内存、存储和其它物理资源,思极有容时序数据库将自动配置多个虚拟节点。
虚拟数据节点:存储具体的时序数据,所有针对时序数据的插入和查询 *** 作,都在虚拟数据节点上进行(图例中用V标明)。位于不同物理机器上的虚拟数据节点可以组成一个虚拟数据节点组(如图例中dnode0中的V0, dnode1中的V1, dnode6中的V2组成了一个组),虚拟节点组里的虚拟节点的数据以异步的方式进行同步,并实现数据的最终一致性,以保证一份数据在多台物理机器上有拷贝,而且即使一台物理机器宕机,总有位于其他物理机器上的虚拟节点能处理数据请求,从而保证系统运行的高可靠性。
虚拟管理节点:负责所有节点运行状态的采集、节点的负载均衡,以及所有Meta Data的管理,包括用户、数据库、表的管理(图例中用M标明)。当应用需要插入或查询一张表时,如果不知道这张表位于哪个数据节点,应用会连接管理节点来获取该信息。Meta Data的管理也需要有高可靠的保证,系统采用Master-Slave的机制,容许多到5个虚拟管理节点组成一个虚拟管理节点集群(如图例中的M0, M1, M2)。这个虚拟管理节点集群的创建是完全自动的,无需任何人工干预,应用也无需知道虚拟管理节点具体在哪台物理机器上运行。
集群对外服务IP:整个系统可以由多台甚至数万台服务器组成,但对于应用而言,只需要提供整个集群中任何一台或两台服务器的IP地址即可。 集群将根据应用的请求,自动的将请求转发到相应的一个甚至多个节点进行处理,包括聚合、计算 *** 作等。这些复杂的分发和路由对应用是完全透明的。
4 存储结构
为提高压缩和查询效率,思极有容时序数据库采用列式存储。与众多时序数据库不同的是,思极有容时序数据库基于时序数据的特点,将每一个采集点的数据作为数据库中的一张独立的表来存储。这样对于一个采集点的数据而言,无论在内存还是硬盘上,数据点在介质上是连续存放的,这样大幅减少随机读取 *** 作,减少IO *** 作次数,数量级的提升读取和查询效率。而且由于不同数据采集设备产生数据的过程完全独立,每个设备只产生属于自己的数据,一张表也就只有一个写入者。这样每个表就可以采用无锁方式来写,写入速度就能大幅提升。同时,对于一个数据采集点而言,其产生的数据是时序的,因此写的 *** 作可用追加的方式实现,进一步大幅提高数据写入速度。
数据具体写如流程如图所示:
写入数据时,先将数据点写进Commit日志,然后转发给同一虚拟节点组里的其他节点,再按列写入分配的内存块。当内存块的剩余空间达到一定临界值或设定的commit时间时, 内存块的数据将写入硬盘。内存块是固定大小(如16K)的, 但依据系统内存的大小,每个采集点可以分配一个到多个内存块,采取LRU策略进行管理。在一个内存块里,数据是连续存放的,但块与块是不连续的,因此思极有容时序数据库为每一个表在内存里建立有块的索引,以方便写入和查询。
数据写入硬盘是以添加日志的方式进行的,以求大幅提高落盘的速度。为避免合并 *** 作,每个采集点(表)的数据也是按块存储,在一个块内,数据点是按列连续存放的,但块与块之间可以不是连续的。思极有容时序数据库对每张表会维护一索引,保存每个数据块在文件中的偏移量,起始时间、数据点数、压缩算法等信息。每个数据文件仅仅保存固定一段时间的数据(比如一周,可以配置),因此一个表的数据会分布在多个数据文件中。查询时,根据给定的时间段,思极有容时序数据库将计算出查找的数据会在哪个数据文件,然后读取。这样大幅减少了硬盘 *** 作次数。多个数据文件的设计还有利于数据同步、数据恢复、数据自动删除 *** 作,更有利于数据按照新旧程度在不同物理介质上存储,比如最新的数据存放在SSD盘上,最老的数据存放在大容量但慢速的硬盘上。通过这样的设计,思极有容时序数据库将硬盘的随机读取几乎降为零,从而大幅提升写入和查询效率,让思极有容时序数据库在很廉价的存储设备上也有超强的性能。
为减少文件个数,一个虚拟节点内的所有表在同一时间段的数据都是存储在同一个数据文件里,而不是一张表一个数据文件。但是对于一个数据节点,每个虚拟节点都会有自己独立的数据文件。
5 数据分区、水平扩展
为处理每日高达数亿条的海量数据,数据必须在多个节点存放。在思极有容时序数据库里,数据是按照每个采集点(表)来存放的。一张表(一个采集点)的数据,即使每秒产生一百个字节的数据量,一年也才3G的数据量,压缩后,往往还不到300M,因此在思极有容时序数据库里,一个表的数据是不跨节点存储的,以便于单张表的快速高效的插入、查询和计算。
为更好的数据分区,思极有容时序数据库采用了虚拟数据节点的设计。一个虚拟数据节点包含多个表,表的数量可以配置。根据其计算和存储资源,一个物理节点将被划分为多个虚拟数据节点。虚拟数据节点的设计带来几大优势:
1)更好的支持硬件异构环境,资源多的服务器可以创建更多的虚拟节点;
2)恢复一个宕机的节点,可以让众多的其他节点参与进来,大大加快速度;
3)如果撤掉一个数据节点,该节点上的虚拟节点将被相当均匀的迁移到其他节点上去;
4)新增一个数据节点,负载过热的节点的上的部分虚拟节点将被整体迁移过来。这一切让负载更加均衡,让数据同步变得更加高效。
与传统的数据库相似,用户可以创建多个数据库,每个库里面,可以创建多个表。一个库可以横跨多个虚拟数据节点,但一个虚拟数据节点仅仅属于一个数据库。当用户添加一个表时,管理节点将查看已经分配的虚拟节点里是否还有空位,如果有,就将该表分配到这虚拟节点。如果这个库的所有虚拟节点都没有空位,管理节点将根据负载均衡的策略(随机、轮询等)来分配一个新的虚拟节点给该库,然后将该表分配到新的虚拟节点里。由于一台物理主机有多个虚拟数据节点,这种策略能保证负载均匀分布。
管理节点负责整个系统的负载均衡,包括虚拟数据节点的增加、删除、迁移、合并与拆分。管理节点并不保存每个采集点采集的数据,只是管理虚拟节点,即使宕机,也不会影响现有各虚拟节点的数据插入和查询 *** 作。各个采集点或应用从管理节点获取分配的虚拟数据节点信息后,然后直接与虚拟数据节点通讯,直接将数据插入数据库,对于查询 *** 作也是如此。因此,系统容量以及吞吐率与虚拟数据节点的个数成正比,整个系统是水平扩展的
6 高可靠系统
为保证数据节点的高可靠性,思极有容时序数据库引入了虚拟数据节点组的概念,并采用异步的方式进行数据同步。一个虚拟节点组由处于不同物理主机上的虚拟数据节点组成,虚拟数据节点个数就是数据冗余的个数(Replication Factor,一般大于2)。在一个虚拟节点组里,各个虚拟数据节点通过心跳包实时知道对方的状态。如果一个虚拟数据节点收到数据写入的请求,该请求会被立即转发给其他虚拟数据节点,然后在本地存储处理。当应用连接思极有容时序数据库系统时,对于要 *** 作的任何一张表,系统会给应用提供该表所属的虚拟数据节点组里各个虚拟节点的IP地址(如果replication factor为3,就会有3个IP地址),如果链接其中一个失败或者 *** 作失败,应用会尝试第二个、第三个,只有所有节点失败才会返回失败。这样保证虚拟数据节点组里任何一台机器宕机,都不会影响对外的服务。这些复杂的重新连接流程都被思极有容时序数据库 Driver包装隐藏起来,应用开发者无需写程序来实现。
为保证效率,思极有容时序数据库采取异步方式实现多个副本之间的实时数据同步,采取的是最终一致性,而不是强一致。当一台主机重启时,每个虚拟数据节点都会检查自己数据的版本是否与其他虚拟节点一致,如果版本不一致,需要同步后才能进入对外服务状态。在运行过程中,由于各种原因,数据仍然可以失去同步,这种不同步会在收到转发的写入请求时被发现,一旦被发现,版本低的虚拟数据节点将马上停止对外服务,进入同步流程,同步完后,才会重新恢复对外服务。同步过程中,高版本的节点还可以正常的对外提供服务。
管理节点负责存储Meta数据,同时根据每个数据节点状态来负责负载均衡,因此也要保证其高可靠性。多个虚拟管理节点组成一个虚拟管理节点组,因为Meta数据可以被多个应用同时更新,因此思极有容时序数据库采用的是Master-Slave模式实现虚拟管理节点的数据同步。写的 *** 作,只有Slave节点写入成功后,Master节点才会返回成功,从而保证数据的强一致性。如果Master节点宕机,系统有机制保证其中一个Slave会立即被选举为Master, 从而保证系统写 *** 作的高可靠性。
由于Meta数据量并不大,Meta数据虽然需持久化存储,但将其完全保存在内存,以保证查询 *** 作的高效。在应用侧,为避免每次数据 *** 作都访问管理节点,思极有容时序数据库 Driver将必要的Meta数据都会缓存在本地,只有当需要的Meta数据不存在或失效的情况下,才会访问管理节点,这样大大提高系统性能。
管理节点在集群中存在,但对于应用和系统管理员而言,是完全透明的。整个系统会自动在物理节点上创建虚拟管理节点以及虚拟管理节点组。
7 STable:多表聚合
各个数据采集点的时钟是很难同步的,为保证其时序,而且为保证单一采集点的数据在存储介质上的连续性,思极有容时序数据库要求每个数据采集点单独建表,这样能极大提高数据的插入速度以及查询速度,但是这将导致系统表的数量猛增,让应用对表的维护以及聚合、统计 *** 作难度加大。为降低应用的开发难度,思极有容时序数据库引入了STable超级表的概念。
STable是表的集合,包含多张表,而且这个集合里每张表的Schema是一样的。同一类型的采集设备可创建一个STable。与表一样,包含Schema,但还包含标签信息。Schema定义了表的每列数据的属性,如温度、压力等,而标签信息是静态的,属于Meta Data,如采集设备的型号、位置等。思极有容时序数据库扩展了标准SQL的table的定义,创建时,除指定Schema外,还可以带关键词tags来指定有哪些标签。如:
create table m1(ts timestamp, pressure int, rpm int) tags (model binary(8), color binary(8))
上述SQL创建了一个STable m1, 带有标签model和标签color。为某一个具体的采集点创建表时,可以指定其所属的STable以及标签的值,比如:
create table t1 using m1 tags (‘apple’, ‘red’)
上述SQL以STable m1为模板,创建了一张表t1,这张表的Schema就是m1的Schema,但标签model设为apple,标签color设为red。插入数据时,仍然按照正常的方式进行插入。但查询时,除传统的表的查询外,还可以基于标签对STable进行各种聚合查询或统计。如:
select avg(pressue) from m1 where model=’apple’ interval(5m) group by color
上面这个SQL语句表示将标签model值为apple的所有采集点的记录的每5分钟的平均值计算出来,并按照标签color进行分组。
对于STable的查询 *** 作,完全与正常的表一样。但一个定义的STable可以包含多张表(多个数据采集点),应用可通过指定标签的过滤条件,对一个STable下的全部或部分表进行聚合或统计 *** 作,这样大大简化应用的开发。其具体流程如下图所示:
1) 、应用将一个查询条件发往系统;
2) 、Driver将查询的过滤条件发往Meta Node(管理节点);
3) 、管理节点将符合查询过滤条件的表的列表发回Driver(包含每个表对应的数据节点的IP地址);
4) 、这些返回的表可能分布在多个数据节点,Driver将计算的请求发往相应的多个数据节点;
5) 、每个数据节点完成相应的聚合计算,将结果返回给Driver;
6) 、Driver将多个数据节点返回的结果做最后的聚合,将其返回给应用。
8 数据模型
思极有容时序数据库采用的仍然是传统的关系型数据库的模型。用户需要根据应用场景,创建一到多个库,然后在每个库里创建多张表,创建表时需要定义Schema。对于同一类型的采集点,为便于聚合统计 *** 作,可以先定义超级表STable,然后再定义表。
不同的采集点往往具有不同的数据特征,比如有的采集点数据采集频率高,有的数据保留时长较长,有的采集数据需要3份备份,而有的数据一份备份即可,有的采集点一条记录很大,而有的采集点的记录仅仅16个字节,很小。为让各种场景下思极有容时序数据库都能最大效率的工作,思极有容时序数据库建议将不同数据特征的表创建在不同的库里。创建一个库时,除SQL标准的选项外,应用还可以指定保留时长、数据备份的份数、cache大小、是否压缩等多种参数。
思极有容时序数据库对库的数量、STable的数量以及表的数量没有做任何限制,而且其多少不会对性能产生影响,应用按照自己的场景创建即可。
9 实时流式计算
在存储的原始数据上,思极有容时序数据库可以做各种计算,目前支持的主要 *** 作包括:
· Avg:以每个采样时间范围内的value的平均值作为结果
· Dev:以每个采样时间范围内的value的标准差作为结果
· Count:以每个采样时间范围内的点的数目作为结果
· First:以每个采样时间范围内的第一个value作为结果
· Last:以每个采样时间范围内的最后一个value作为结果
· LeastSquares:对每个采样时间范围内的value进行最小二乘法的拟合
· Max:以每个采样时间范围内的value的最大值作为结果
· Min:以每个采样时间范围内的value的最小值作为结果
· Percentile:每个采样时间范围内的value的第p百分位数作为结果。
· Sum:以每个采样时间范围内的value的总和作为结果
· Diff:以每两个相邻的value的差值作为结果
· Div:以每个value除以一个除数作为结果
· Scale:以每个value乘以一个倍数作为结果
· 基于多个采集点数据的四则运算表达式
思极有容时序数据库还可对一个或多个数据流进行实时聚合、统计等计算,并将计算出的衍生数据当做新的数据保存进思极有容时序数据库,以便后续的 *** 作。实时计算与聚合查询很类似,只是后台定时进行,并自动滑动计算窗口的起始点。工作方式与其他流式计算引擎的Sliding Window相似。
实时计算可以通过一个简单的创建表的 *** 作来实现。如:
create table d1 as select avg (pressure) from t1 interval (60s) sliding(10s)
上述SQL表示将表t1里字段pressure每10秒钟(每次滑动的时间间隔)将过去的60秒钟(聚合计算的时间间隔)的数据平均值计算出来并写入表d1。计算出的衍生数据可以与其他原始数据或计算出的衍生数据进行再次计算。
10 便捷的安装、部署、维护
思极有容时序数据库是在Linux上开发的,任何Linux系统都可以运行,而且不依赖任何第三方软件,也不是在某个开源项目上包装出来的产品。获得安装包并解压后,只需执行安装脚本就一切搞定,极其简单。
安装后,会在安装的机器上自动创建虚拟数据节点和管理节点,开发者就可以使用了,能满足一般性的需求。但如果数据量大,就需要将软件安装到多台主机。这时也只需要在每台机器配置好Master IP, 系统管理员打开思极有容时序数据库Shell, 将新添加的主机添加进系统即可。如果要撤销一个物理节点,登录思极有容时序数据库 Shell, 将其删除即可,极其简单。传统数据库所需要的数据分区、数据迁移等等都一概不存在。
因为数据是自动同步到多个节点的,系统管理员不用担心数据的丢失,也不用制定备份和数据恢复策略,一切全自动进行。
如果软件需要升级,只要在思极有容时序数据库Shell里将新版本上传即可。管理节点将挨个把每个节点的软件进行升级,而且整个系统的服务将不停止,服务不受任何影响。如果要更换设备,只需将其拔除,安装上软件后,将新设备重新插入即可。换言之,思极有容时序数据库完全支持在线升级以及硬件的热插拔,从而保证服务的724的不间断运行。
开发人员需要做的是定义表的结构,根据具体场景,配置好各种参数,让系统性能达到最优。系统管理员只需要关注与硬件相关的报警信息,对于经常出问题的服务器或硬盘,进行更换而已。使用思极有容时序数据库, 整个系统的运维工作变得极为简单,将大大降低运营成本。
11 更多亮点
订阅模式:与标准的数据库不同,思极有容时序数据库还提供一种订阅模式。应用程序可以订阅数据库某张表的内容,一旦该表有新的记录,应用将立即得到通知。同一个表可以被多个应用订阅。与流行的消息中间件Kafka一样,订阅采取的是pull而不是push模式。Kafka的publish *** 作由数据库插入 *** 作代替。由于思极有容时序数据库具有极高的插入速度, 通过采用订阅模式,思极有容时序数据库本身也可以作为一个消息队列中间件来使用。
异步插入:为避免网络延迟带来的性能下降,更好的提高数据插入速度,思极有容时序数据库还提供一组API让应用异步插入数据。当应用调用插入API时,将立即得到反馈,等记录成功插入后,思极有容时序数据库将调用应用提供的回调函数通知应用。采用异步插入,性能将大幅提高。
Nagle算法:时序数据应用场景里,每条记录一般都很小,很多不到20字节,因此整个系统处理的是大量的小数据包。为了更进一步提高性能,减少网络IO次数,思极有容时序数据库采用了类似TCP协议的Naggle算法,客户端将缓存插入请求,只有记录的大小超过一定的大小或者缓存时间超过100毫秒,被缓存的插入请求才会被发往系统。对于时间要求很高的应用,该功能可以关闭。
12 参数指标
· 支持数据类型:tinyint, smallint, int, bigint, float, double, binary
· 单记录最大长度:4096字节
· 最大记录条数:仅受存储空间限制
· 最大表的个数:仅受节点个数限制
· 最大数据备份数:5份
· 单节点插入速度:3万条/秒(单核,16字节每记录,每次一条,无同步备份)
· 单节点查询速度:2000万条/秒(单核,16字节每记录,全内存)
· 更多指标将陆续提供
13 应用场景
思极有容时序数据库作为一个基础性的软件,应用范围及其广泛,原则上,所有使用机器、设备、传感器采集数据的地方都可以用上。一些典型场景罗列如下:
· 公共安全:上网记录、通话记录、个体追踪、区间筛选
· 电力行业:智能电表、电网、发电设备的集中监测
· 通讯行业:话费详单、用户行为、基站/通讯设备监测
· 金融行业:交易记录、存取记录、ATM、POS机监测
· 出行工具:火车/汽车/出租/飞机/自行车的实时监测
· 交通行业:实时路况,路口流量监测,卡口数据
· 石油石化:油井、运输管线、运输车队的实时监测
· 互联网:服务器/应用监测、用户访问日志、广告点击日志
· 物流行业:车辆、集装箱的追踪监测
· 环境监测:天气、空气、水文、地质环境等监测
· 物联网:电梯、锅炉、机械、水表、气表等各种联网设备
· 军工行业:各种军事装备的数据采集、存储
· 制造业:生产过程管控,流程数据、供应链数据采集与分析
网页链接 技术白皮书网页链接请单击查看!
(金额单位:万元)二、产业工程。
(七)现代服务业工程。
——总部经济项目。
1 中新 科技 文化艺术中心-澳门塔。总建筑面积为144万平方米,建设高塔、低塔等。196000万元
2 视源股份总部扩建项目。建设视源股份总部扩建项目,主要经营电子新技术及软件信息等,配备必要的研发、办公等硬件设施。90000万元
3 合创 汽车 智能网联全球创新中心项目。建设合创 汽车 全球总部大楼、指挥调度中心、研发中试大楼等。600000万元
4 鑫从境国际交往花园。产业以战略决策型国际企业总部集聚区为核心,围绕“生态示范区、产业发展地、智慧实验田、 健康 养生 谷、都市农业带、文化休闲处、优质生活圈、本土国际城”八个功能板块,以会议会展、国际教育、 健康 养疗、智慧农业、高端购物等五大产业平台为支撑。3615400万元
5 年年有鱼(惠州)海产品交易中心总部经济项目。建设国际生鲜交易中心,包括国际海洋商务中心、国际海洋会议中心、海洋欢乐广场等,总建筑面积约60万平方米。650000万元
6 海丰县纺织服装生态循环产业园项目。一期建设厂房等设施;二期建设纺织织造产业生产线,投资织造机及配套辅机、厂房;三期建设高端纺纱产业生产线,投资配套辅机及厂房等。780000万元
7 滨海湾青创城。建筑面积约376万平方米,建设港商企业总部大厦、新台商大厦、粤广青企联大厦、湾区金融总部大厦、湾区(服务业)总部大厦、高端生物医学研究中心等尖端生物医学研究中心、湾区金融总部大厦等在内的 科技 研发总部基地。3500000万元
8 总部大厦项目。打造集总部商务办公、 科技 研发、创新基地、商业广场、酒店办公用房等多功能于一体的商业综合体。100000万元
9 中山侨光工程和技术研究和实验发展总部、粤港澳台青年 科技 产业基地(南北双园区)。总建筑面积771万平方米。北园区分三期建设,一期为商业配套区、二期为科研办公区、三期为生产厂区。南园分四期建设,建设厂房、工业大厦及相应的配套服务设施等。100000万元
10 广东(清远)博宏药业有限公司总部经济建设项目。总建筑面积188万平方米。建设总部大楼项目,含管理员工办公,研发中心等。54400万元
11 新动力智造城建设项目。总建筑面积约为200万平方米,建设各类生产车间、综合楼、技术中心以及其他配套附属设施。250000万元
——商务服务项目。
1 生物塔。建筑面积24万平方米,建设超高层写字楼及商业裙房、辅助配套用房。363000万元
2 平岗站TOD商业综合体。总建筑面积约24万平方米,建设TOD综合体商业、酒店、公寓、办公场所等。206200万元
3 知识城国际会议中心项目。建设国宾、会议、酒店、餐饮、商务、休闲和康体等为一体的综合性设施。500000万元
4 深圳市国际交流中心。建设国际交流中心,包括国际会议中心、配套酒店、园林会议区等,项目总建筑面积约48万平方米。1500000万元
5 美团粤港澳大湾区新基地项目——九龙山园区群。建筑面积约120万平方米,建设智能 科技 研发园和智能 科技 产业园。2141300万元
6 腾讯工业互联网粤港澳大湾区基地。建筑面积约46万平方米,建设工业互联网运营服务中心、创新展示中心、人才培训中心、创新孵化中心、工业互联网金融服务中心等。500000万元
7 浈江区星港城项目。总建筑面积约100万平方米,打造集大型购物中心、 旅游 、 娱乐 、休闲、餐饮、儿童教育于一体的超大型商业综合体和高端住宅区商贸商住的城市中心。900000万元
8 一山红文化世界。一期建设教学大楼、拓展场地、红色广场、雕塑广场以及配套设施;二期建设红色酒店、红色商业街、红色客栈、红色拓展基地;三期建设红色影视基地与配套红色客栈。80000万元
9 仁恒红海湾国际 旅游 度假区项目。建设高端度假酒店、水上运动基地、海滨休闲景区、 历史 文化风貌街区、 养生 康养社区、人文居住社区等。3000000万元
10 银湖湾澳门国际 健康 港。分两期开发,打造粤港澳大湾区-科创创业中心和大 健康 国际高端医养产业中心。210000万元
11 台山市国际建材商贸城项目。总建筑面积约为10万平方米,包括家具建材博览城、五金机电城、汽配汽贸城、儿童游乐设施、商务写字楼、企业孵化中心等。100000万元
12 湛江商贸物流城(二期)。建筑面积15万平方米,建设交易区、仓储区、商务区、展览区、加工用房及附属配套设施。200000万元
13 吴川市亚洲珍稀植物研发观赏园项目。分三期建设,分为入口广场区、生态观赏园文化区、植物自然资源科普区、亚洲珍稀植物和资源收集、观赏区、观赏园康养体验区、珍稀植物产业示范区。200000万元
14 广宁国际商贸物流城。建设商贸服务综合体。320000万元
15 万洋集团“广深港澳 科技 创新走廊北进-粤北区产业 科技 创新中心”产业集聚区项目。一期总建筑面积约167万平米,建设厂房、宿舍及配套设施。1500000万元
——研发设计服务项目。
1 国家密码应用和创新示范基地。总建筑面积277万平方米。建设集“产、学、研、用、测、管、行“于一体的商用密码 科技 创新基地及配套设施。150000万元
2 中新广州知识城穗澳质量创新港。总建筑面积25万平方米,建设穗澳质量服务中心、检测中心、质量人才培训中心、质量大数据中心等。200100万元
3 岭南现代农业科学与技术广东省实验室河源灯塔盆地分中心。建设综合科研大楼、公共实验平台、科研和生活配套设施。180000万元
4 海丰县海洋经济国际创新中心暨上海交通大学海洋学院博士工作站及院士工作站。建设院士工作站。55000万元
5 湛江海洋 科技 产业创新孵化园。建设研发大楼、中试大楼、创新创业大楼、产权交易中心、人才服务中心、国际交流中心和海洋科普教育中心等建筑。500000万元
——商贸物流项目。
1 惠州港荃湾港区公用液化烃库区项目。建设液化烃库区一座,总规划仓储规模约376万立方米。160000万元
2 广东省高速公路智慧物流服务区项目。建设智能存储中心、智慧分拨转运中心、智能集货拼箱中心、智慧分拣中心、充电场站等新能源运输配套功能、新能源设施物流信息发布平台、智能配送月台、重卡装卸货区、转运仓库、加油站、商贸物流中心等。13000000万元
3 希音湾区供应链总部项目。总建筑面积约330万平方米。1500000万元
4 阿里新零售供应链华南总部项目。建设大湾区集新零售研发、全球商品采购中心、华南区结算中心、供应链运营中心等综合性产业基地。60000万元
5 广东珠江投资管理集团有限公司国际智慧供应链基地新建项目。建设集进出口贸易、检测、分装、冷链、交易、跨境电商、物流、研发、金融、监管、商业配套、数字化运营等功能为一体的国际智慧供应链基地。1800000万元
6 丰树广州国际食品智能生产基地和华南供应链采购配送中心项目。总建筑面积约38万平方米,建设厂房等设施。300000万元
7 德邦快递华南总部及智慧产业园项目。建筑面积约67万平方米,建设华南总部、供应链金融服务中心、 科技 研发中心、数据服务中心、智慧产业服务解决方案中心、自动分拣中心、数字化指挥中心等。81000万元
8 广弘控股食品链智慧港项目。总建筑面积约34万平方米,建设展贸交易中心、总部经济商务中心、供应链金融中心、智慧科创中心、消费体验中心。314600万元
9 广东省外贸综合服务公共平台建设项目。打造覆盖粤港澳大湾区和全省各产业集群、各外综服务平台的,融合传统贸易和跨境电商、市场采购、转口贸易、离岸贸易等贸易新业态。30000万元
10 货拉拉华南区智慧 科技 产业园项目。建设华南区域总部、研发中心与大数据中心、新能源货车基地、智慧 科技 仓储与冷链。116800万元
11 佛山宜家华南新零售总部服务中心项目。建设辐射华南区域的电商物流中心,发展宜家家居线上销售业务。总建筑面积405万平方米。65000万元
12 佛山乐从钢铁物流加工贸易三期工程。建筑面积约15万平方米,建设金属材料研发中心、金属展示中心以及仓储仓库。50000万元
13 韶关市保税物流中心(B型)。包括海关现场办公设施、卡口、查验场、暂扣仓库、围网和巡逻通道等报关报检设施;国际配送区、集装箱处理区、国际采购区等业务设施;管理、经营办公设施、保安、给排水、供电、消防、通风、安全、卫生和信息系统等配套设施。32200万元
14 中农联·粤北农产品流通产业中心(莲花大道)。建设集产城融合、 科技 集成、绿色发展、联农带农为一体的涉农智慧冷链产业示范基地。150000万元
15 惠州仲恺保税物流中心(B型)。建筑面积约588万平方米,建设高标准保税库、海关综合楼、海关卡口等。91000万元
16 京东智能电商运营结算中心项目。建设包括“亚洲一号”智能仓储中心、智能分拣机订单生产中心等。120000万元
17 合生-珠江国际智慧冷链交易基地项目。建设以冷链供应链和跨境电商为主的产业基地,首期建设码头港口和进港交通等基础设施,完成园区基础设施以及冷库检测中心物流的配套。500000万元
18 粤港澳大湾区(惠州)冷链物流枢纽基地项目。建设低温仓库、恒温仓库、常温仓库以及农产品加工车间、央厨加工车间、展销中心、商务配套办公楼、宿舍等。383000万元
19 汕尾综合性物流园建设项目。建设冷链综合物流区、农贸批发区、物流数据中心、电子商务中心、商贸展览区、保税无水港区、仓储冻库区、食品加工区、商住生活区等九个功能区。300000万元
20 陆丰农产品电商冷链物流基地。建设冷链库、检验中心、信息追溯中心、运输物流基地及配套基础设施等。100000万元
21 汕尾市美荣冷链物流中心项目。建设冷链库、检验中心、信息追溯中心,运输物流基地及配套基础设施等。120000万元
22 穗通冷链物流产业园。建设冷库、分拣加工中心、综合楼、宿舍楼、加工配送物流中心、供应链物流服务大楼、设备房、干仓、储物仓、农副产品分装车间等。160000万元
23 阳江市农畜牧渔综合交易产业(物流)园项目。建设畜禽屠宰加工、生鲜批发、仓储及冷链物流园,总建筑面积9560万平方米。300000万元
24 湛江西铁路物流基地项目。依托湛江西(货)站为依托,结合湛江西(货)站一、二期货场改扩建规划,整个物流园区为公路联运港,等级为二级铁路物流基地。464500万元
25 湛江市医药物流城中心。建设综合办公楼、员工宿舍、停车场、电子交易中心、标准药品仓库、冷库、特殊药品仓库等,建筑面积20万平方米。60000万元
26 湛江廉江陆港物流产业项目。建设集现代物流、精品农产品、家电产业、展览交易、电子商务等九大功能区为一体的现代产业综合体。600000万元
27 广东王村港互联网海洋产业创新平台项目。建设海产品交易市场、冷链物流园、海产品加工厂、保税仓、办公大楼、星级酒店、人才公寓、农业生态园、温泉文旅等。190000万元
28 韵达粤西电商总部基地项目。分两期建设,包括智能快递分拨中心、智能快运分拨中心、供应链中心、跨境电商、结算中心,总部经济,物联网信息平台,办公生活配套等。90000万元
29 茂名市高州农产品加工冷链物流产业园。建筑面积约5万平方米。建设大型冷库、农产品加工中心、分拣配送物流综合中心等。20000万元
30 肇庆市粤港澳大湾区食品供应基地和安全保障中心项目。建设食品安全保障中心、生鲜 美食 体验中心、生鲜交易区、食品安全溯源检测区等。300000万元
31 海格云链(肇庆) 科技 产业园项目。建设进出口商品交易数据运营中心、商品展示及交易中心、第三方金融服务中心、进口酒类交易流通中心、人才公寓等。105000万元
32 肇庆国家级南药批发市场项目。建设国家级肇庆南药市场总部,包括南药综合交易中心、南药大数据中心和综合保税仓3个项目等。300000万元
33 潮州市凤凰于飞物流园区。建设综合楼、配套中心、设备房、垃圾房、门卫房等。总建筑面积317万平方米。108000万元
34 潮汕商贸市场。建设农副产品交易区、农贸交易区、日用百货交易区、畜禽交易区、特色产业交易区、检疫检测机构等,总建筑面积4070平方米。35000万元
35 启盈集团粤东(揭阳)智慧物流枢纽项目。建设云计算电子商务数据处理中心、电子商务金融服务中心、区域电子商务企业总部。120000万元
36 申通(揭阳)智慧电商物流产业园建设项目。总建筑面积约1665万平方米,建设三层转运中心、坡道平台及配套楼等。60000万元
37 惠来华湖农产品交易中心。建设农副产品交易区、检测检疫中心、加工配送区、冷链物流区、物流园区、电商创业中心、综合服务区等功能区。90000万元
38 云浮新区广州国际物流港临港经济物流园项目。建设生态景观工程、交通市政基础设施、园区公共服务基础配套设施、综合办公楼及厂房等。607500万元
39 云浮市云城区(华南)综合批发市场项目。建设冷库、配套锅炉房、配套电房、制冷机房、供水等附属设。50000万元
40 金晟达物流项目。建设三层综合楼、成品中转库房、、停车区、汽修车间、备品配件仓库等。100000万元
——综合生产服务项目。
1 粤港澳大湾区服装智造产业示范区。建设集智能制造、研发办公、创新孵化、人才服务、技术测试、商业配套等“产学研商住”于一体的产业新城,打造国际领先的“服装智造样板”,建筑面积533万平方米。130000万元
2 湾区氢谷。建设氢能产业集聚中心、研发设计中心、市场运营中心、检测检验中心、国际交流中心等五大中心。441800万元
3 万马高端智能装备产业园。建筑面积约15万平方米。建设以高端装备制造为核心产业群,发展智能家居家电、前沿新材料、新能源为三大卫星产业。100000万元
4 中国酒店用品行业总部产业港。总建筑面积约180万平方米。建设厂房、仓储物流用房、员工宿舍、办公楼、生产生活配套设施及其他配套设施等。300000万元
5 佛山医疗器械产业园。建设产业促进中心、厂房及配套宿舍等。141000万元
6 佛山市顺深产业城项目。建筑面积约52万平方米,建设集生产厂房、产业主题基地、研发中心为一体工业互联网示范园区。200000万元
7 乐昌碳中和装备产业园及粤湘产业合作示范园基础设施建设项目。包括园区智慧平台建设、标准厂房建设、污水处理厂及配套污水管网建设、污水泵站建设、排水管网设施建设、消防及安全生产公共服务及配套设施建设、智慧停车位、新建道路、红绿灯交通电子监控设施建设、交通设施建设、公交枢纽建设、运动健身项目建设、公厕、挡墙边坡防护、电力工程、园区给水管采购项目等。420000万元
8 莞韶城二期项目。建设道路工程、管线综合工程、排水渠整治工程、公共绿地建设工程以及产业园建设工程。351300万元
9 国家干细胞转化资源库—华南应用中心项目。建设非人类灵长类动物模型基地;国家干细胞转化资源库—冷链物流、干细胞从业人员培训认证中心等。100000万元
10 广东省韶关市翁源县兰花产业园建设项目。建设智慧基础设施、生态修复提升工程、综合服务平台、市场体系建设、兰花研究院(含兰花研学基地)建设工程、智慧农业平台及应用。94500万元
11 南雄高新区林业生物产业园基础设施建设项目。建设道路、城市公园、防护绿地、公服设施及市政设施建筑工程、给排水、供电、网络、通信系统、污水处理、标准厂房、消防、垃圾转运、开关站等基础设施。263000万元
12 河源仙洞文旅康养项目。建设 健康 管理中心、中医药颐养康复中心、抗衰医美中心、飞翔主题园、亲子童趣园、高端度假酒店、康养社区、森林疗愈空间,研修中心、生态餐厅、综合服务中心等以及配套附属工程。500000万元
13 源城区工业园第四期(低碳产业园)项目。建设道路、市政管线及其它配套等工程。74300万元
14 源城区工业园第五期扩园(5G产业城)。建设道路、市政管线及其它配套等工程。505000万元
15 珠宝产业园标准厂房及配套基础设施建设项目。新建厂房、宿舍、综合楼、仓库、污水处理厂等。290000万元
16 中国·博罗四角楼珠宝创意园。总建筑面积约为66万平方米。分三期建设,建设厂房、研发中心、岩矿和宝石检测中心、加工及污水循环处理等设施。261700万元
17 惠州湾产业新城起步区基础设施建设项目。新建宏达路等市政道路和桥梁,新建生态湖(湿地)公园,改扩建生态水廊。1120000万元
18 中南高科产业园。打造集高端装备制造、智能制造、精密机械、电气设备、节能环保技术等于一体的先进制造产业园区。160000万元
19 粤浦大亚湾智能网联新能源科创中心项目。打造以智能网联、新能源以及相关智能制造、新一代信息技术为核心的 科技 产业综合体。100000万元
20 明升大亚湾科教产研城项目。一期西南部科创板块、二期西北部教育板块、三期中部科教衍生板块、四期东南部商贸板块、五期东北部智慧生态生活配套板块。1000000万元
21 京东 科技 智谷项目。建设京东智造粤港澳湾区产业园、京东创新技术惠州营运中心、人才基地等,落地京东智能制造产业打造智造基地,聚集相关上下游产业链企业进驻项目融合发展。2000000万元
22 惠城区东江湾高新技术产业园基础配套设施工程。建设5条双向6车道和1条双向4车道的城市主干道及配套绿化、给排水、照明、电力、电信、交通工程。150000万元
23 汕尾马宫海洋经济产业集群项目。打造“四个一”产业经济板块,即:一港(马宫渔港)、一场(海洋牧场,深海网箱养殖)、一区(滨海 旅游 度假区)和一园(海洋 科技 产业园)的海洋经济产业集群。1000000万元
24 攀达宝峰桌游文化产业园。建设从原材料供应到成品销售出口、桌游研发技术支持在内的全球最大的综合性桌游产业基地。100000万元
25 置信产业园项目。建设生产厂房,写字楼,研发中心等。100000万元
26 中山广弘生命 健康 项目(一期)。建设高端装备制造中心、智慧医疗研发基地、 健康 产业总部、生物 科技 国际合作区和生活配套区。1000000万元
27 中大创新谷大泽智造园。总建筑面积约377万平方米,首期引进规上企业不少于10家。150000万元
28 应急产业园项目。江门市安全应急产业园由“安全应急产业创新中心+产业基地+物资储备中心”组成,建设成果转换及孵化加速区、应急智能装备制造区、建设应急特种材料生产园、应急物资仓储调度中心。323000万元
29 广东海阳车城。建设办公楼、会议酒店、休闲餐饮等设施。300000万元
30 阿里云大学项目。建设阿里云大学、 科技 馆(科普基地)、双创中心、酒店等,打造成大学城片区,集科、教、研、展、娱五位一体的科教文旅示范项目。73900万元
31 茂名市新能 汽车 零部件项目。建设厂房、仓库、研发大楼、配套宿舍等,生产各类精密 汽车 零部件等模具制品。86000万元
32 广药王老吉广东荔枝(茂名)产业园。建筑面积为358万平方米,建设厂房、仓库、研发中心、综合办公室、配送中心、职业公寓、商务商住等配套设施。30000万元
33 尚雷仕智能 健康 科技 生产基地项目。建设综合生产运营基地,研发生产spa泳池水疗设备及智能家居。100000万元
34 肇庆市预制菜产业园。建设以鱼类和农副产品深加工为主导的预制菜产业园区。190000万元
35 清远市船舶装备制造业产业园项目。建设一个集聚游艇、货运船、 旅游 客船等完整船舶装备制造的产业链条的制造基地。100000万元
36 潮汕空港国际 汽车 文化产业城项目。建设潮汕首家 汽车 文化主题公园及五星级体验的 汽车 博览中心。总建筑面积312万平方米。330000万元
37 新兴(稔村)万洋众创城项目。建设厂房、仓库、生活配套及其他配套设施等。500000万元一、国家现有产业目录中的鼓励类产业
(一)《产业结构调整指导目录(2019年本)》(国家发展改革委令2019年第29号)中的鼓励类产业。
(二)《鼓励外商投资产业目录(2020年版)》(国家发展改革委、商务部令2020年第38号)中的产业。
以上目录如修订,按新修订版本执行。二、西部地区新增鼓励类产业
西部地区新增鼓励类产业按省、自治区、直辖市分列,原则上适用于在相应省、自治区、直辖市生产经营的内资企业,并根据实际情况适时修订;如所列产业被国家相关产业目录明确为限制、淘汰、禁止等类型产业,其鼓励类属性自然免除。
(一)重庆市
1.电弧炉短流程炼钢(《产业结构调整指导目录》限制类、淘汰类项目除外);高强度建筑用钢,汽车、电子信息、装备、轨道交通、航空航天等产业用金属材料;铸锻轻合金材料;镁合金深加工产品;金属基粉体及表面处理新材料;锰基等新材料(《产业结构调整指导目录》限制类、淘汰类项目除外)
2.化工新材料生产(《产业结构调整指导目录》限制类、淘汰类项目除外)
3.锶矿(天青石)等金属矿精深加工;毒重石、岩盐、萤石、重晶石等非金属矿精深加工;高性能玻璃纤维及复合材料(《产业结构调整指导目录》限制类、淘汰类项目除外);年生产能力1000万吨及以上机制砂石项目
4.新型节能、隔音、防火门窗及配件的开发与生产
5.节能环保材料预制装配式建筑构部件生产
6.核设备、高精密核仪器、仪表的开发制造
7.压缩天然气(CNG)汽车加气站成套设备及装置(汽车储气钢瓶、压缩机、储气罐、深度脱水装置、脱硫罐、冷凝管、油水分离器等)研发及制造
8.矿山安全仪器、矿山应急救援装备研发及制造
9.高压输变电及控制设备的研发及制造
10.达到一级能效的压缩机、电机、变频器、磁控管等家用电器关键零部件制造
11.钟表计时、珠宝加工等精密加工产业技术开发及设备制造
12.VR/AR/MR等沉浸式互动式娱乐设施设备、数字舞台灯光、智能影音、内河游艇、数字印刷、玩具、文化用品等文化旅游装备及用品研发制造
13.汽车整车、专用车(不包括仓栅车、栏板车、自卸车、普通厢式车、普通挂车)及零部件制造
14.适用于丘陵山区的微耕机、拖拉机、农作物种植收获等中小型农具、农田建设所需农用工程机械及相关零部件的研发和制造
15.摩托车整车及重要零部件制造
16.船用齿轮箱和船用油泵油嘴、增压器、连杆、薄壁轴瓦、喷射控制单元等关键零部件研发生产,铸锻一体化工艺大抓力船锚生产
17.氧化铁(Fe2O3)含量不超过002%的高档玻璃器皿生产
18.教具教学仪器开发及生产
19.公路、铁路客货运输
20.笔记本电脑、通信产品整机和关键零部件的研发及制造
21.三网融合类业务平台、通信、有线电视网络升级改造及设备制造
22.5G、移动互联网、物联网、工业互联网、大数据、人工智能、区块链、绿色数据中心建设及运营
23.风力、太阳能发电场建设及运营
24.仓储、货代、船代、包装、装卸、搬运、流通加工、集拼集散、配送、多式联运服务、供应链服务以及单证、数据和信息处理等现代物流项目;口岸物流设施建设及运营;村级快递物流综合服务站建设及运营
25.服务“三农”、小微企业、个体工商户的小额贷款金融服务
26.服务外包、非金融机构支付服务
27.城市及农村生活污水、黑臭水体、生活垃圾、畜禽粪便治理及厕所革命等城乡人居环境整治相关技术开发及应用
28.医疗机构经营
29.艺术及技能培训(音乐、演艺、美术、设计和深圳市智物科技有限公司
智物科技致力于泛物业领域,为用户提供最便捷和最智能的智能管控系统及产品,拥有自主研发的智能物业管理系统和基于物联网的水电表计等硬件设备,包括物业信息管理、租务管理、远程抄表、自动账单、在线收租、财务统计、智能收租管控等以及智能停车场、门禁和生活服务。服务范围全面,支持各种 *** 作系统,数据实时同步,是物业管理者的智能物业管理解决方案专家。
深圳市慧锐通智能电器股份有限公司
现有三大系列(R1、R2、IP系列)、针对大型社区的解决方案,共有近500种产品。产品涵盖了从最基本的对讲产品到最先进的对讲智能终端。齐全的产品线可根据小区的实际定位提供多种解决方案,一般安防要求的普通小区或是追求先进的星级化、信息化、资讯化的对讲综合解决方案。
神州物联网商务股份有限公司
相继开展了“神州大地汽车救援”、“酒店智能应用平台”、“电子签到系统”、“智能点餐系统”、“家居B2C商城”等战略型和产品型项目,将物联网在各个领域上实现革命性的创新应用。
深圳市远望谷信息技术股份有限公司
远望谷创业团队自1993年起就致力于RFID技术和产品研发,借助中国铁路车号自动识别系统,开创了国内RFID产品规模化应用的先河,拥有近200项RFID专利技术、6大系列100多种具有自主知识产权的RFID产品,包括读写器、电子标签、天线及其衍生产品。公司在铁路、烟草行业具有技术领先和市场先入优势,并为图书及档案管理、酒类防伪、畜牧养殖及肉品溯源、资产追踪、物流及供应链、机动车辆、服装等多个领域提供了高性能的RFID产品方案。
深圳市科陆电子科技股份有限公司
是国家级高新技术企业,致力于为智能电网和新能源应用、节能减排提供整体技术与产品解决方案。企业成立于1996年,于2007年3月在深圳证交所挂牌上市。现注册资本40084万元,员工接近3000人,拥有超过700人的技术研发团队,在深圳建有近36万平方米的研发基地和近10万平米生产基地,并在成都、南昌、昆山等城市建有智能电网大型工业园。
浙江企朋网络技术股份有限公司深圳分公司
2016年下半年,企朋开始拓展物联网市场,创办SIMBOSS品牌,并在深圳设立分公司。SIMBOSS基于物联网(IoT)技术为用户提供“物与物”、“物与人”的物联网卡服务,通过在设备部署物联网卡,提供流量和运营服务。
我们的关注点在设备,其中包括了车联网、POS机、安防、共享单车等多种终端,使用IoT而不是传统通讯连接意义在于可以节约流量和设备消耗,以共享单车为例,物联网技术带来的是更低耗、更稳定的联网通讯,在运营、服务稳定、持续性上提供更牢固保障,特别是在智能硬件的数据抓取上,物联网提供了运营基础数据,企业可以更好地控制硬件。
深圳市汇川技术股份有限公司
专注于工业自动化控制产品的研发、生产和销售,定位服务于中高端设备制造商。公司是专门从事工业自动化控制产品的研发、生产和销售的高新技术企业。主要产品有低压变频器、高压变频器、一体化及专机、伺服系统、PLC、HMI、永磁同步电机、电动汽车电机控制器等;主要服务于装备制造业、节能环保、新能源三大领域,产品广泛应用于电梯、起重、机床、金属制品、电线电缆、塑胶、印刷包装、纺织化纤、建材、冶金、煤矿、市政、汽车等行业。
深圳市中晶电子科技有限公司
庞源集团旗下电子领域系统技术服务型方案公司,同时也是亚太地区国际著名品牌半导体/被动器件销售,Epson微型打印机中国总代理,位于深圳市福田区华强北华强广场A座19楼19A-C室。主要服务方案有智能蓝牙应用方案、智能无线LED照明系统方案、智能无线家居系统方案、智能环保种植系统方案、智能保健运动系统方案,还有USB31权威机构检测服务。主要产品案例有蓝牙LED智能面板灯、蓝牙LED智能吸顶灯、蓝牙定制化模块、智能电源模块、智能种植箱、智能夹克衫以及USB31数据线等等。河北云酷科技有限公司是一家致力于电力行业的高科技软件企业。结合20余年的电力行业现场业务经验,利用三维可视化、UWB、物联网、移动办公等高新技术,现成功打造出电厂智慧安全三维可视化一体管控平台:三维人员定位安全管控平台---基于人员安全,结合现场安全业务,利用三维可视化技术,UWB技术实现现场主动安全,实现安全业务智能化管理;锅炉防磨防爆可视化管理系统---利用三维技术,结合锅炉动静态台账,合理利用锅炉检修数据,进行设备劣化分析、事故分析、泄爆分析,加强锅炉管理,并为各级领导提供统一展现平台,快速掌握锅炉状态,为锅炉专工提供检修策划工具,减少事务性工作,并提供更多的业务分析工具。让锅炉管理智慧化;安全过程管控APP----现场作业安全管控便捷手段,确保安全交底到人、风险分析到人,实现过程全电子化,过程可查、知识分析全部到人;该公司持续研究智慧电厂建设,不断推陈出新,为电力行业智慧建设尽一份力。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)