什么是“泛在电力物联网”?要建一个什么样的泛在电力物联网?
01
为什么要建泛在电力物联网?
国家电网公司在2019年两会报告中提出建设世界一流能源互联网企业的重要物质基础是要建设运营好“两网”,这里所说“两网”分别是“坚强智能电网”和“泛在电力物联网”。泛在电力物联网这个名词首次出现在国家电网公司的两会报告中,成为和坚强智能电网相提并论的重点工作。
首先来看国网2019年1号文件是怎么说的:在2019年1月13日发布的国家电网有限公司2019年1号文件中,排在年度重点工作首位的就是:推动电网与互联网深度融合,着力构建能源互联网。具体内容是:“持之以恒地建设运营好以特高压为骨干网架、各级电网协调发展的坚强智能电网……。充分应用移动互联、人工智能等现代信息技术和先进通信技术,实现电力系统各个环节万物互联、人机交互,打造状态全面感知、信息高效处理、应用便捷灵活的泛在电力物联网,为电网安全经济运行、提高经营绩效、改善服务质量,以及培育发展战略性新兴产业,提供强有力的数据资源支撑。承载电力流的坚强智能电网与承载数据流的泛在电力物联网,相辅相成、融合发展,形成强大的价值创造平台,共同构成能源流、业务流、数据流“三流合一”的能源互联网。”
可以认为一号文件中对泛在电力物联网的定义以及在能源换联网中的重要地位作出了明确地官方解释。一号文件的重点工作之二是:培育壮大发展新动能,创新能源互联网业态。其具体内容是:研究探索利用变电站资源建设运营充换电(储能)站和数据中心站的新模式,积极推动公司通信光纤网络、无线专网和电力杆塔商业化运营,拓展服务客户新空间。大力开拓电动汽车、电子商务、智能芯片、储能、综合能源服务等新兴业务,促进新兴业务和电网业务互利共生、协同发展。一号文件的重点工作之三是:扩大开放合作共享,打造能源互联网生态圈。具体内容是:充分利用电网数据、技术、标准优势,加强与新经济和互联网企业合作,积极参与新能源、智能制造、智能家居、智慧城市等新兴业务领域的开拓建设,加快构建围绕能源互联网发展的产业链、生态圈。
从一号文件中可以看出国网未来将通过建设电力互联网发展与互联网经济相关的新业态,包括新能源、智能制造、智能家居、智慧城市等新业务。非传统领域的新业态已经和传统电网业务处于同等重要的地位,实际上,所谓所谓新能源、智能家居、智慧城市,都可以被囊括进“泛在电力物联网”。总地来看,“坚强智能电网”仍是国网业务的基本盘,坐稳输-变-配-用-售环节的既定业务范围,在增量配网试点和配售电侧改革不断深入的背景下坚守传统阵地,抵御“外部的野蛮人”,是国网今后工作的“拿分项”;而在国有企业改革走向深水区,电改大势倒逼,国网新一代领导层逐步稳定之际,提出“泛在电力物联网”概念,则是主动出击开拓新方向的求变之举,是国网今后工作的“发力点”。
国网内部对于公司发展和业务调整,有一定的共识和紧迫感,主要集中于以下几个方面:一是随着新能源发电占比升高,电网形态日趋复杂,电力潮流和电网故障演化机理不断由可预见向难以预见演变,这对电网的安全稳定运行提出了更高要求;二是电改推进、政府及社会对电价下调的要求,导致企业经营面临瓶颈;三是在互联网经济与数字经济的蓬勃发展下,社会经济形态发生着深刻变化,在改革即将进入深水区之际,如果没有做好未来这几年的发展转型,通信运营商现在面临的困境可能就是国网的明天。而借着“泛在电力物联网”的东风,继续在传统强电部门深耕,加强信息化,还是着力发展电动汽车、综合能源服务等新业务,需要一个有力的规划纲领作为指导。
02
什么是“泛在电力物联网”?要建一个什么样的泛在电力物联网?
物联网的概念由 MIT 的 Kevin Ashton在1998年首次提及,他指出将
RFID技术和其他传感器技术应用到日常物品中构造一个物联网。紧接着的第二年由 Kevin Ashton 带头建立的 Auto-ID center
对物联网的应用进行了更为清晰的描述:依靠全球 RFID 标签无线接入互联网,使得从剃须刀到欧元纸币再到汽车轮胎等数百万计的物品能够被持续地跟踪和审计。
电力行业对“物联网”的理解是:物联网是一个实现电网基础设施、人员及所在环境识别、感知、互联与控制的网络系统。其实质是实现各种信息传感设备与通信信息资源的(互联网、电信网甚至电力通信专网)结合,从而形成具有自我标识、感知和智能处理的物理实体。实体之间的协同和互动,使得有关物体相互感知和反馈控制,形成一个更加智能的电力生产、生活体系。从而衍生出泛在智能电网——基于通信技术的全业务泛在电力物联网-泛在电力物联网概念。
各国在建设现代电网的过程中都用到了物联网,但对其应用的侧重点则各有不同。在欧洲,提升供电安全性、节能减排、发展低碳经济是各国积极发展智能电网的主要原因,在这种驱动力下,欧洲电力行业对物联网的应用更倾向于清洁能源和环保方向;在日本,可再生能源接入、节能降耗和需求响应是日本发展智能电网的主要驱动力,日本电力行业对于物联网的应用主要在于对新能源发电监控和预测、智能电表计量、微网系统监控等领域;在中国,物联网技术为提高电网效率、供电可靠性提供了技术支撑,RFID技术、各类传感器、定位技术、图像获取技术等使仓库管理、变电站监控、抢修定位与调度、巡检定位、故障识别等业务实现灵活、高效、可靠的智能化应用。
目前国网对泛在电力物联网的具体定义还未形成,将传统电力生产、传输、消费的所有环节信息化,都可以称为泛在电力物联网。就目前国网的技术储备而言,增强电网的感知、通信、计算和分析能力,是其可预见的发展方向。2018年的国网信通工作会议上就提出了“打造全业务泛在电力物联网,建设智慧企业,引领具有卓越竞争力的世界一流能源互联网企业建设”的工作目标,并提出了建设国网-电力物联网SG-eIoT
(electric Internet of Things)的技术规划。预计将综合运用“大云物移智”等信通新技术,与新一代电力系统相
互渗透和深度融合,实时在线连接能源电力生产和消费各环节的人、机、物,全面承载并贯通电网生产运行、企业经营管理和对外客服服务等业务。在终端层表现为万物互联的连接能力,在网络层表现为无处不在、无时不有的通信能力,在平台层表现为对全景设备和数据的管控能力。在2018年国网信通工作会议上制定的规划来看,整个“SG-eIoT”系统在技术上将分为终端、网络、平台、运维、安全等五大体系,打通输电业务、变电业务、配电业务、用电业务、经营管理等五大业务场景,通过统一的物联网平台来接入各业务板块的智能物联设备,制订各类电力终端接入系统的统一信道、数据模型、接入方式,以实现各类终端设备的即插即用。
有意思的是,国网一直以来虽然没有明确喊出电力物联网的口号,却已经有了相当的技术积累。国网的信息化水平近年来也不断提升,目前国网系统接入的终端设备超过5亿只(其中47亿只电表,各类保护、采集、控制设备几千万台),规划到2030年,接入SG-eIoT系统的设备数量将达到20亿,整个泛在电力物联网将是接入设备最大的物联网生态圈;经过D5000、调控云等系统改造和升级,国调中心在电网观测、控制水平已经称得上世界先进,输电网基本做到可观、可控、能控、在控;各地配电自动化系统建设也在推进当中,规划到2020年完成全网95%的配电自动化覆盖率,各种在线监测、智能预警系统比比皆是;基于PMS20系统,主要设备的全生命周期管理在近两年内也能基本完成;通信网络建设如火如荼,无线专网、保护专网陆续上马;国网智慧车联网平台目前已经连接全社会80%的公共充电桩以及4万多辆电动汽车。想要在近年内交一份能够写出足够多亮点的成绩单,问题应该不大。
笔者认为,国家电网作为世界五百强第2的旗帜性央企,应该有更高要求拿出真正的可以定义行业发展方向的技术方案,要么具备成熟的、可复制的海外技术输出能力,被海外能源企业接纳,例如华为通信解决方案,支付宝/微信移动支付;要么具备强烈提升用户体验、能直接让用户感受代际差异的新服务水平,如高铁。就供电可靠性、电网安全稳定性等方面而言,进一步提升的空间和产生的社会效应都已有限。泛在电力物联网应该向着智慧小区/智慧城市整体能源解决方案、智慧交通整体能源供给方案、智慧能源套餐及交易模式、用户能效分析及用户画像、智能家居与用能管理等方面延伸。虽然国家电网是国内每年电气专业研究生就业的首选单位,是每年获取专利数最多的企业,甚至超越了华为,但国家电网作为一家科技公司的形象在公众心中依然没有建立起来,电力用户期待获得更多的知情权和参与感,例如得到用电诊断、科学用电方案、差异化电价信息等增值服务。在前有堵截后有追兵的行业背景下,要“建成世界一流的能源互联网企业”,只有深刻改变用户习惯,才能进一步赢得发展的先机。
03
建设泛在电力物联网应规划先行
一般情况下,抛出一个战略性概念后,国网公司会在组织机构、科技研发、重点工程等方面共同发力,并使之成为今后3-5年的主要方向。按以往规律,国网的新概念往往由相关利益部门主张并提出,上升形成公司战略后由原提出部门出主力班底进行战略规划、科研投入和工程运作。新战略的实施情况,有时受制于公司其他利益部门对该战略的支持和配合力度。国网领导班子对新成立部门的支持力度、其他利益部门对新成立部门的配合力度往往关系着新战略的整体推进效果。相对于我国政府和企业过往一些实施相对成功的战略,国网的风格还有些遵循丛林法则,主要由强势部门和地方公司利益驱动,在领导层取得首肯后立即上马项目,一定程度上缺乏规划引领的顶层设计,导致重复建设、技术路线多样,虽然每年都涌现出数量众多“世界一流”的技术或工程,却难以形成合力,在国际上和社会上缺乏“中国高铁”这样的名片技术。
物联网技术虽然在电网有着广阔的应用和前景,但也面临一些发展问题。从技术上来看,感知层的传感器数据准确性、传感器在复杂环境下的故障率、数据传输的及时性、无线传输的安全性等都是亟待解决的问题。受到可靠性、成本、原有管理制度等多种因素的制约,物联网产业一直推进缓慢。制定合理的长期规划,对指导物联网在电网发展具有重要意义。
因此,国网应组织科研单位牵头,遵循目标导向,按照我国不同地区电网技术基础及资源禀赋,设定泛在电力物联网近期目标及中长期技术规划,尽快明确重点项目及技术攻关方向,集中力量突破既定关键技术。此外,利用好自身科研人才和科研力量,必要时与外部企业及科研力量联合,突破传统电力生产-科研-设备研发利益窠臼,走出电网成熟技术的舒适区,从微创新转变为模式创新,真正成长为具备全球影响、全民感受的科技巨头。
通信技术,根据信号传输的介质,可以分两类:有线通信和无线通信。
即信号要么在空中传播(无线的看不见、摸不着),要么在实物上传播(有线的,看得见、摸得着)。
无线通讯技术,也称为移动通讯,它使我们的信息通讯摆脱了位置的束缚。想想以前的座机️电话️,再想想现在的手机,通信技术是不是很神奇!
我们日常使用的手机,属于移动通讯技术的范畴:是利用无线电磁波在空中完成信号的接收/传送,最终实现通信的。
举个例子,
假设你用手机发了1条微信语音给你妈妈,那么这个讯息是怎样完成传输的呢?
1-输入的语音,首先会在你自己手机里被转化为弱电信号,再经过你手机的天线转化成电磁波信号发送到就近的基站;
2-就近的基站,首先会把接收到的这段电磁波信号转化为光电信号,再经过光纤电缆传输到你妈妈就近的基站;
3-你妈妈就近的基站,首先会把接收到的这段光电信号转化成电磁波信号,再经过基站的天线发送到你妈妈手机的天线;
4-你妈妈手机的天线,首先会把这段接收到的电磁波信号转化为弱电信号,最后再转化为语音让你妈妈听到。
上面的通讯,几乎是瞬时完成的!通讯技术,是不是很神奇!对于上述举例,这里补充几点说明:
1-基站与基站之间是如何通信呢?
1)可以是有线,我国一般采用有线传输。 2)也可以是无线电磁波传输,比如人烟稀少的欧美。当下4G通讯技术,中国的有线与欧美的无线,没有技术的高低之分,是各自根据自身条件的选择不同而已。
2-为了实现手机的无线通讯,通讯运营商需要修建一个合理/经济的基站网络,在经济可行的情况下尽可能的扩大4G网络覆盖范围。只要你在某个基站的覆盖范围内,那么你的手机会自动与这个基站建立联系,此时你的手机是有信号的状态,可以正常使用。换个角度讲,只要你使用手机,基站系统就可以实时掌握你的位置,也可以知道你所有的通讯内容。
3-目前采用的移动通信4G技术,即使是两个人面对面的拨打对方手机(或手机互传照片),所有信号都要经过基站进行中转。
4-我们现在的手机仍是有天线的,只不过天线都被内置在手机内部了,不像90年代的大哥大那样支出来1根长长的天线。关于手机天线是怎么一步一步“消失”的,这个在后面会详细讲一讲。
好了!前面铺垫了这么多,是想告诉大家:手机利用的是无线通讯技术,而无线通讯技术是通过利用空中的电磁波实现的信号传输。接下来,我们来讲一讲电磁波!
我们都知道光具有波粒二象性,即是粒子也是波。而电磁波,我们可以通俗的理解为光波,它符合光波在空气中传播的速度,30万千米每秒:
C=r·v
-C是电磁波在空中的传播速度(等于光速,30万KM/s)
-r是电磁波的波长
-v是电磁波的频率
-电磁波,具有波的特征:
波长越长 - 信号传输时绕开障碍物的能力越强,传输信号的距离更远。但是信号传输的频次会很低,即手机网速会很慢。
波长越短 - 电磁波的频率会很高,信号传输的速度极快,几乎瞬时完成。但受限于波长很短,几乎无法绕开障碍物,只能完成近距离的传输。
真可谓,鱼和熊掌不可兼得!
手机通讯技术,从1G到5G,传输信号的电磁波的波长是在逐渐减短的,频率则是在逐渐增高的。
那么即将普及的5G无线通讯技术,会有些什么主要特征呢?
第一、5G的毫米波
5G电磁波的频率范围,分两种:一种是6GHz以下,这个与目前4G差别不算大。还有一种在24GHz以上,这个就很高了,目前国际上主要使用28GHz进行试验。
如果按28GHz来算,根据前文的公式:
这就是毫米波!
你一定会问:“为什么以前我们不用高频率的毫米波呢?” 不是以前不想用,是用不起!频率越高,波长越短,越趋近于直线传播(绕射和穿墙能力越差),只能完成短距离信号的无线传输。这需要我们修建密集的基站网络,成本太高了,经济不适用。
现在即将的5G,更是需要比以前密集的基站网络。那我们是如何实现的呢?答案在微基站!
第二、5G的微基站
前面讲了,移动通信如果采用了5G技术的超高频段,它最大问题是需要修建更加密集的基站网络。
那么问题来了:如果从4G通讯切入到5G通讯,覆盖同一个区域,需要的基站数量将大幅超过4G。
这也是为什么5G时代,通讯运营商拼命怂怼设备商,希望基站降价。如果真的上5G,按以往模式,设备商就发大财了。
所以在5G时代,为了减轻基站网络建设的成本压力,5G必须寻找新的出路- - - - 这就是微基站!
基站有两种,微基站和宏基站!看名字就知道,宏基站很大,微基站很小。
到了5G时代,微基站会更多,几乎随处可见。随着技术发展,微基站的成本会越来越低,不会再对5G技术的商用化造成阻碍。
不过也有人在担心:在5G时代,那么多基站在身边,会不会对人体造成影响?
答案是:不会。与传统认知恰好相反,基站数量越多,辐射反而越小!设想一下:冬天1群人在房子里,是1个大功率取暖器好,还是几个小功率好?
基站小,功率低,对大家都好。如果只采用一个大基站,离得近,辐射大,离得远,没信号,反而不好。
第三、天线去哪儿(5G大规模多天线技术)
移动终端(手机是一种移动终端),需要利用基站网络实现远距离的通讯,当然也需要1根天线用来连接就近的基站,用来与就近基站进行信号的接收/发送。
以前的大哥大有1根很长的天线,早期的2G手机也有1根突出来的小天线。那为什么在3G/4G/5G时代,手机天线就没了呢?
其实并不是手机不需要天线了,而是天线越来越小了。根据天线特性,天线长度应与波长成正比,大约在1/10~1/4之间。
随着技术发展,手机的通信频率越来越高,波长越来越短,天线当然也就跟着越变变短啦! 这就意味着,天线可以塞进手机的里面。
5G时代的毫米波通信,天线也变成毫米级啦!这就是5G的第三大杀手锏- - - - Massive MIMO(大规模多天线技术)!
在4G时代,我们就已经有了多天线技术,但是天线数量并不算多,只能说是小规模的。
到了5G的毫米波时代,多天线技术变成了加强版的大规模。手机里面能塞好多好多根天线;基站就更不用说了,这也是为什么微基站可以那么小巧但功能更加强大的原因之一!我们可以到处建设微基站了!成本也降下来了!
以前的基站,天线就那么几根:
现在的基站,天线数量不是按根来算了,是按“阵”!“天线阵列”!一眼看上去,密集恐惧症的节奏。
不过,天线之间的距离也不能太近。因为天线特性要求,要求天线之间的距离在半个波长以上。如果距离近了,就会互相干扰,影响信号的收发。这对于5G都不是问题,因为我们是毫米级的波长呀!
但是我们看会发现,在无人区边境地带的士兵们使用的移动通讯设备,仍然有一根支出来的天线。原因很简单,因为离基站很远,为了保障通信,电磁波的波长很长,在厘米级及以上,所以需要一根支出来的天线。
第四、5G的D2D技术
前面我们有讲,目前的移动4G技术,即使是面对面的拨打对方手机(或手机互传照片),信号仍都要通过基站进行中转的。
而在5G时代,同一基站覆盖范围内的两部手机如果互相进行通信,他们的数据不再经过基站,而是直接手机到手机。
这样可以节约大量的空中资源,也减轻了基站的压力。
2019811
关于5G技术,还有另外2个问题:(1)5G可以给社会带来哪些巨大的变革?(2)我们又该如何把握5G的发展时间机遇?
最近有新闻在讲,广州等城市已经开始建设5G微基站,并准备在19年底试点手机的商用5G技术。而与我们息息相关的1个问题就是:要不要马上使用5G手机?不少人表示:“4G现在够用了,5G技术还不成熟,准备过1、2年再看看要不要用”!
我们再来听一听另一种观点:现在的科技前沿技术,大数据、无人驾驶、AI技术,智慧城市、物联网这些都需要更高阶的通讯技术作为支撑。这不都需要5G技术作为基础支撑吗?总而言之,5G是一种赋能,一种可以带来社会巨大变革的赋能!
5G的支持者认为,它是一次前所未有的技术革命,应该尽快启动大规模建设,抢占先机。美国为什么要制裁打压华为,这是最好的论据!
而反对者认为,5G目前根本没有找到合适的应用场景,人们对5G的需求并没有想象中强烈,不适合立刻投入大量资金。
两种声音,本质上都是认同5G技术的,但在是不是现在就应该大力发展5G建设的这个问题上,存在不同的观点。
俗话说:“不见兔子不撒鹰”。目前我们确实还没有立刻可以引爆5G需求的场景,这是事实。如果盲目启动大规模的网络建设,就有可能面对“有网没人用”、“叫好不叫座”的尴尬局面,还可能会背上沉重的运营负担,甚至是巨额债务。
华为任总也说了——“5G实际上被夸大了它的作用”,“实际上现在人类社会对5G还没有这么迫切的需要”。
不过,是否大规模建设和是否建设,是两回事。在广泛范围内进行试点,还是很有必要的。否则,没有土壤,就更难孵化出我们所期待的“需求”场景。
我们再来简单看看5G的进程情况。
作为第5代移动通信技术,美国、欧盟、日本、韩国等国家已开始布局5G试验计划和商用时间表。
2019年是我国5G商用技术的元年。
2019年6月6日,工信部正式向电信、移动、联通、中国广电发放5G商用牌照 ,批准4家企业经营。
近期工信部发布“全国范围5G中低频段试验频率”的使用许可。根据5G频谱规划方案,中国电信获得34-35GHz的100MHz频谱资源,中国移动获得2515-2675Mhz的160MHz带宽及48-49Ghz的100MHz频谱资源,中国联通获得35-36Ghz的100MHz频谱资源。
20201221
横向比较其他国家,祖国在基础建设上拥有无比巨大的的优势,比如偏远地区的高速、高铁,电力输送和通讯基站,这些都是数年甚至数几十年不会盈利的商业项目。不同的是这些商业项目,不赚钱但关乎民生国计关,于是政府让国企去做,使得税收一定程度反哺社会建设。大家如果去到青藏、西北、西南山区,会有深刻的体会!
如果没记错,12-13年城市有了4G网络,15-16年云贵偏远乡村有了4G信号。出行交通和通讯沟通这2个板块,走过几个地方之后,真心骄傲,祖国做的好!奥利给!
前面板主要有:
指示灯及快捷按键区域,显示区域,扬声器,打印机,键盘区域,多线盘区域,总线盘区域,消防总机区域,集中供电模块区域
指示灯及快捷按键区域:主要显示指示灯状态,“警报器”是快捷启动整个系统的声光报警器(前提是此功能按键是开启的);
“手动”/“自动”是进行联动及手动的一个切换,设备运行正常情况下为“自动”状态,此状态下,一旦发生火警,就会启动联动公式,相应的设备就会开启,比如现场的雨淋阀开启,罐组及管道上方就会喷水降温。有时为了消防演练,可能会涉及手动启动设备,声光、广播、警铃等;
“联动启动”功能主要是直接启动联动公式,系统会按照编程的逻辑功能进行相应的动作(前提是系统设置此按键开启状态)。
“自检”主要对系统进行一个自行检测
“消音”主要是针对有报警信息显示在显示器上,扬声器不停的有响声,当时把报警主机的声音关闭。
“复位”此功能是常使用的功能键,一旦有警情,扬声器会一直响,主机显示器上会一直显示报警信息(火警),对于现场误报的火警,可直接复位消警;当遇到火警现场手报按下,显示器显示具体位置报火警,先处理完成现场后,手报现场先复位,然后通知消防控制中心进行复位,这样就能将显示器显示报警信息消除,扬声器才会停止响动。常见的大数据术语表(中英对照简版):
A
聚合(Aggregation) – 搜索、合并、显示数据的过程
算法(Algorithms) – 可以完成某种数据分析的数学公式
分析法(Analytics) – 用于发现数据的内在涵义
异常检测(Anomaly detection) –
在数据集中搜索与预期模式或行为不匹配的数据项。除了“Anomalies”,用来表示异常的词有以下几种:outliers, exceptions,
surprises, contaminants他们通常可提供关键的可执行信息
匿名化(Anonymization) – 使数据匿名,即移除所有与个人隐私相关的数据
应用(Application) – 实现某种特定功能的计算机软件
人工智能(Artificial Intelligence) –
研发智能机器和智能软件,这些智能设备能够感知周遭的环境,并根据要求作出相应的反应,甚至能自我学习
B
行为分析法(Behavioural Analytics) –
这种分析法是根据用户的行为如“怎么做”,“为什么这么做”,以及“做了什么”来得出结论,而不是仅仅针对人物和时间的一门分析学科,它着眼于数据中的人性化模式
大数据科学家(Big Data Scientist) – 能够设计大数据算法使得大数据变得有用的人
大数据创业公司(Big data startup) – 指研发最新大数据技术的新兴公司
生物测定术(Biometrics) – 根据个人的特征进行身份识别
B字节 (BB: Brontobytes) – 约等于1000 YB(Yottabytes),相当于未来数字化宇宙的大小。1
B字节包含了27个0!
商业智能(Business Intelligence) – 是一系列理论、方法学和过程,使得数据更容易被理解
C
分类分析(Classification analysis) – 从数据中获得重要的相关性信息的系统化过程; 这类数据也被称为元数据(meta
data),是描述数据的数据
云计算(Cloud computing) – 构建在网络上的分布式计算系统,数据是存储于机房外的(即云端)
聚类分析(Clustering analysis) –
它是将相似的对象聚合在一起,每类相似的对象组合成一个聚类(也叫作簇)的过程。这种分析方法的目的在于分析数据间的差异和相似性
冷数据存储(Cold data storage) – 在低功耗服务器上存储那些几乎不被使用的旧数据。但这些数据检索起来将会很耗时
对比分析(Comparative analysis) – 在非常大的数据集中进行模式匹配时,进行一步步的对比和计算过程得到分析结果
复杂结构的数据(Complex structured data) –
由两个或多个复杂而相互关联部分组成的数据,这类数据不能简单地由结构化查询语言或工具(SQL)解析
计算机产生的数据(Computer generated data) – 如日志文件这类由计算机生成的数据
并发(Concurrency) – 同时执行多个任务或运行多个进程
相关性分析(Correlation analysis) – 是一种数据分析方法,用于分析变量之间是否存在正相关,或者负相关
客户关系管理(CRM: Customer Relationship Management) –
用于管理销售、业务过程的一种技术,大数据将影响公司的客户关系管理的策略
D
仪表板(Dashboard) – 使用算法分析数据,并将结果用图表方式显示于仪表板中
数据聚合工具(Data aggregation tools) – 将分散于众多数据源的数据转化成一个全新数据源的过程
数据分析师(Data analyst) – 从事数据分析、建模、清理、处理的专业人员
数据库(Database) – 一个以某种特定的技术来存储数据集合的仓库
数据库即服务(Database-as-a-Service) – 部署在云端的数据库,即用即付,例如亚马逊云服务(AWS: Amazon Web
Services)
数据库管理系统(DBMS: Database Management System) – 收集、存储数据,并提供数据的访问
数据中心(Data centre) – 一个实体地点,放置了用来存储数据的服务器
数据清洗(Data cleansing) – 对数据进行重新审查和校验的过程,目的在于删除重复信息、纠正存在的错误,并提供数据一致性
数据管理员(Data custodian) – 负责维护数据存储所需技术环境的专业技术人员
数据道德准则(Data ethical guidelines) – 这些准则有助于组织机构使其数据透明化,保证数据的简洁、安全及隐私
数据订阅(Data feed) – 一种数据流,例如Twitter订阅和RSS
数据集市(Data marketplace) – 进行数据集买卖的在线交易场所
数据挖掘(Data mining) – 从数据集中发掘特定模式或信息的过程
数据建模(Data modelling) – 使用数据建模技术来分析数据对象,以此洞悉数据的内在涵义
数据集(Data set) – 大量数据的集合
数据虚拟化(Data virtualization) –
数据整合的过程,以此获得更多的数据信息,这个过程通常会引入其他技术,例如数据库,应用程序,文件系统,网页技术,大数据技术等等
去身份识别(De-identification) – 也称为匿名化(anonymization),确保个人不会通过数据被识别
判别分析(Discriminant analysis) –
将数据分类;按不同的分类方式,可将数据分配到不同的群组,类别或者目录。是一种统计分析法,可以对数据中某些群组或集群的已知信息进行分析,并从中获取分类规则。
分布式文件系统(Distributed File System) – 提供简化的,高可用的方式来存储、分析、处理数据的系统
文件存贮数据库(Document Store Databases) – 又称为文档数据库(document-oriented database),
为存储、管理、恢复文档数据而专门设计的数据库,这类文档数据也称为半结构化数据
E
探索性分析(Exploratory analysis) –
在没有标准的流程或方法的情况下从数据中发掘模式。是一种发掘数据和数据集主要特性的一种方法
E字节(EB: Exabytes) – 约等于1000 PB(petabytes), 约等于1百万 GB。如今全球每天所制造的新信息量大约为1
EB
提取-转换-加载(ETL: Extract, Transform and Load) –
是一种用于数据库或者数据仓库的处理过程。即从各种不同的数据源提取(E)数据,并转换(T)成能满足业务需要的数据,最后将其加载(L)到数据库
F
故障切换(Failover) – 当系统中某个服务器发生故障时,能自动地将运行任务切换到另一个可用服务器或节点上
容错设计(Fault-tolerant design) – 一个支持容错设计的系统应该能够做到当某一部分出现故障也能继续运行
G
游戏化(Gamification) –
在其他非游戏领域中运用游戏的思维和机制,这种方法可以以一种十分友好的方式进行数据的创建和侦测,非常有效。
图形数据库(Graph Databases) –
运用图形结构(例如,一组有限的有序对,或者某种实体)来存储数据,这种图形存储结构包括边缘、属性和节点。它提供了相邻节点间的自由索引功能,也就是说,数据库中每个元素间都与其他相邻元素直接关联。
网格计算(Grid computing) – 将许多分布在不同地点的计算机连接在一起,用以处理某个特定问题,通常是通过云将计算机相连在一起。
H
Hadoop – 一个开源的分布式系统基础框架,可用于开发分布式程序,进行大数据的运算与存储。
Hadoop数据库(HBase) – 一个开源的、非关系型、分布式数据库,与Hadoop框架共同使用
HDFS – Hadoop分布式文件系统(Hadoop Distributed File
System);是一个被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统
高性能计算(HPC: High-Performance-Computing) – 使用超级计算机来解决极其复杂的计算问题
I
内存数据库(IMDB: In-memory) –
一种数据库管理系统,与普通数据库管理系统不同之处在于,它用主存来存储数据,而非硬盘。其特点在于能高速地进行数据的处理和存取。
物联网(Internet of Things) – 在普通的设备中装上传感器,使这些设备能够在任何时间任何地点与网络相连。
J
法律上的数据一致性(Juridical data compliance) –
当你使用的云计算解决方案,将你的数据存储于不同的国家或不同的大陆时,就会与这个概念扯上关系了。你需要留意这些存储在不同国家的数据是否符合当地的法律。
K
键值数据库(KeyValue Databases) –
数据的存储方式是使用一个特定的键,指向一个特定的数据记录,这种方式使得数据的查找更加方便快捷。键值数据库中所存的数据通常为编程语言中基本数据类型的数据。
L
延迟(Latency) – 表示系统时间的延迟
遗留系统(Legacy system) – 是一种旧的应用程序,或是旧的技术,或是旧的计算系统,现在已经不再支持了。
负载均衡(Load balancing) – 将工作量分配到多台电脑或服务器上,以获得最优结果和最大的系统利用率。
位置信息(Location data) – GPS信息,即地理位置信息。
日志文件(Log file) – 由计算机系统自动生成的文件,记录系统的运行过程。
M
M2M数据(Machine2Machine data) – 两台或多台机器间交流与传输的内容
机器数据(Machine data) – 由传感器或算法在机器上产生的数据
机器学习(Machine learning) –
人工智能的一部分,指的是机器能够从它们所完成的任务中进行自我学习,通过长期的累积实现自我改进。
MapReduce – 是处理大规模数据的一种软件框架(Map: 映射,Reduce: 归纳)。
大规模并行处理(MPP: Massively Parallel Processing) –
同时使用多个处理器(或多台计算机)处理同一个计算任务。
元数据(Metadata) – 被称为描述数据的数据,即描述数据数据属性(数据是什么)的信息。
MongoDB – 一种开源的非关系型数据库(NoSQL database)
多维数据库(Multi-Dimensional Databases) – 用于优化数据联机分析处理(OLAP)程序,优化数据仓库的一种数据库。
多值数据库(MultiValue Databases) – 是一种非关系型数据库(NoSQL),
一种特殊的多维数据库:能处理3个维度的数据。主要针对非常长的字符串,能够完美地处理HTML和XML中的字串。
N
自然语言处理(Natural Language Processing) –
是计算机科学的一个分支领域,它研究如何实现计算机与人类语言之间的交互。
网络分析(Network analysis) – 分析网络或图论中节点间的关系,即分析网络中节点间的连接和强度关系。
NewSQL – 一个优雅的、定义良好的数据库系统,比SQL更易学习和使用,比NoSQL更晚提出的新型数据库
NoSQL –
顾名思义,就是“不使用SQL”的数据库。这类数据库泛指传统关系型数据库以外的其他类型的数据库。这类数据库有更强的一致性,能处理超大规模和高并发的数据。
O
对象数据库(Object Databases) –
(也称为面象对象数据库)以对象的形式存储数据,用于面向对象编程。它不同于关系型数据库和图形数据库,大部分对象数据库都提供一种查询语言,允许使用声明式编程(declarative
programming)访问对象
基于对象图像分析(Object-based Image Analysis) –
数字图像分析方法是对每一个像素的数据进行分析,而基于对象的图像分析方法则只分析相关像素的数据,这些相关像素被称为对象或图像对象。
*** 作型数据库(Operational Databases) –
这类数据库可以完成一个组织机构的常规 *** 作,对商业运营非常重要,一般使用在线事务处理,允许用户访问 、收集、检索公司内部的具体信息。
优化分析(Optimization analysis) –
在产品设计周期依靠算法来实现的优化过程,在这一过程中,公司可以设计各种各样的产品并测试这些产品是否满足预设值。
本体论(Ontology) – 表示知识本体,用于定义一个领域中的概念集及概念之间的关系的一种哲学思想。(译者注:
数据被提高到哲学的高度,被赋予了世界本体的意义,成为一个独立的客观数据世界)
异常值检测(Outlier detection) –
异常值是指严重偏离一个数据集或一个数据组合总平均值的对象,该对象与数据集中的其他它相去甚远,因此,异常值的出现意味着系统发生问题,需要对此另加分析。
P
模式识别(Pattern Recognition) – 通过算法来识别数据中的模式,并对同一数据源中的新数据作出预测
P字节(PB: Petabytes) – 约等于1000 TB(terabytes), 约等于1百万 GB
(gigabytes)。欧洲核子研究中心(CERN)大型强子对撞机每秒产生的粒子个数就约为1 PB
平台即服务(PaaS: Platform-as-a-Service) – 为云计算解决方案提供所有必需的基础平台的一种服务
预测分析(Predictive analysis) –
大数据分析方法中最有价值的一种分析方法,这种方法有助于预测个人未来(近期)的行为,例如某人很可能会买某些商品,可能会访问某些网站,做某些事情或者产生某种行为。通过使用各种不同的数据集,例如历史数据,事务数据,社交数据,或者客户的个人信息数据,来识别风险和机遇
隐私(Privacy) – 把具有可识别出个人信息的数据与其他数据分离开,以确保用户隐私。
公共数据(Public data) – 由公共基金创建的公共信息或公共数据集。
Q
数字化自我(Quantified Self) – 使用应用程序跟踪用户一天的一举一动,从而更好地理解其相关的行为
查询(Query) – 查找某个问题答案的相关信息
R
再识别(Re-identification) – 将多个数据集合并在一起,从匿名化的数据中识别出个人信息
回归分析(Regression analysis) –
确定两个变量间的依赖关系。这种方法假设两个变量之间存在单向的因果关系(译者注:自变量,因变量,二者不可互换)
RFID – 射频识别; 这种识别技术使用一种无线非接触式射频电磁场传感器来传输数据
实时数据(Real-time data) – 指在几毫秒内被创建、处理、存储、分析并显示的数据
推荐引擎(Recommendation engine) – 推荐引擎算法根据用户之前的购买行为或其他购买行为向用户推荐某种产品
路径分析(Routing analysis) –
针对某种运输方法通过使用多种不同的变量分析从而找到一条最优路径,以达到降低燃料费用,提高效率的目的
S
半结构化数据(Semi-structured data) –
半结构化数据并不具有结构化数据严格的存储结构,但它可以使用标签或其他形式的标记方式以保证数据的层次结构
情感分析(Sentiment Analysis) – 通过算法分析出人们是如何看待某些话题
信号分析(Signal analysis) – 指通过度量随时间或空间变化的物理量来分析产品的性能。特别是使用传感器数据。
相似性搜索(Similarity searches) – 在数据库中查询最相似的对象,这里所说的数据对象可以是任意类型的数据
仿真分析(Simulation analysis) –
仿真是指模拟真实环境中进程或系统的 *** 作。仿真分析可以在仿真时考虑多种不同的变量,确保产品性能达到最优
智能网格(Smart grid) – 是指在能源网中使用传感器实时监控其运行状态,有助于提高效率
软件即服务(SaaS: Software-as-a-Service) – 基于Web的通过浏览器使用的一种应用软件
空间分析(Spatial analysis) – 空间分析法分析地理信息或拓扑信息这类空间数据,从中得出分布在地理空间中的数据的模式和规律
SQL – 在关系型数据库中,用于检索数据的一种编程语言
结构化数据(Structured data)
-可以组织成行列结构,可识别的数据。这类数据通常是一条记录,或者一个文件,或者是被正确标记过的数据中的某一个字段,并且可以被精确地定位到。
T
T字节(TB: Terabytes) – 约等于1000 GB(gigabytes)。1 TB容量可以存储约300小时的高清视频。
时序分析(Time series analysis) –
分析在重复测量时间里获得的定义良好的数据。分析的数据必须是良好定义的,并且要取自相同时间间隔的连续时间点。
拓扑数据分析(Topological Data Analysis) –
拓扑数据分析主要关注三点:复合数据模型、集群的识别、以及数据的统计学意义。
交易数据(Transactional data) – 随时间变化的动态数据
透明性(Transparency) – 消费者想要知道他们的数据有什么作用、被作何处理,而组织机构则把这些信息都透明化了。
U
非结构化数据(Un-structured data) – 非结构化数据一般被认为是大量纯文本数据,其中还可能包含日期,数字和实例。
V
价值(Value) – (译者注:大数据4V特点之一)
所有可用的数据,能为组织机构、社会、消费者创造出巨大的价值。这意味着各大企业及整个产业都将从大数据中获益。
可变性(Variability) – 也就是说,数据的含义总是在(快速)变化的。例如,一个词在相同的推文中可以有完全不同的意思。
多样(Variety) – (译者注:大数据4V特点之一)
数据总是以各种不同的形式呈现,如结构化数据,半结构化数据,非结构化数据,甚至还有复杂结构化数据
高速(Velocity) – (译者注:大数据4V特点之一) 在大数据时代,数据的创建、存储、分析、虚拟化都要求被高速处理。
真实性(Veracity) – 组织机构需要确保数据的真实性,才能保证数据分析的正确性。因此,真实性(Veracity)是指数据的正确性。
可视化(Visualization) –
只有正确的可视化,原始数据才可被投入使用。这里的“可视化”并非普通的图型或饼图,可视化指是的复杂的图表,图表中包含大量的数据信息,但可以被很容易地理解和阅读。
大量(Volume) – (译者注:大数据4V特点之一) 指数据量,范围从Megabytes至Brontobytes
W
天气数据(Weather data) – 是一种重要的开放公共数据来源,如果与其他数据来源合成在一起,可以为相关组织机构提供深入分析的依据
X
XML数据库(XML Databases) –
XML数据库是一种以XML格式存储数据的数据库。XML数据库通常与面向文档型数据库相关联,开发人员可以对XML数据库的数据进行查询,导出以及按指定的格式序列化
Y
Y字节 (Yottabytes) – 约等于1000 ZB (Zettabytes),
约等于250万亿张DVD的数据容量。现今,整个数字化宇宙的数据量为1 YB, 并且将每18年翻一番。
Z
Z字节 (ZB: Zettabytes) – 约等于1000 EB (Exabytes), 约等于1百万
TB。据预测,到2016年全球范围内每天网络上通过的信息大约能达到1 ZB。
附:存储容量单位换算表:
1 Bit(比特) = Binary Digit
8 Bits = 1 Byte(字节)
1,000 Bytes = 1 Kilobyte
1,000 Kilobytes = 1 Megabyte
1,000 Megabytes = 1 Gigabyte
1,000 Gigabytes = 1 Terabyte
1,000 Terabytes = 1 Petabyte
1,000 Petabytes = 1 Exabyte
1,000 Exabytes = 1 Zettabyte
1,000 Zettabytes = 1 Yottabyte
1,000 Yottabytes = 1 Brontobyte
1,000 Brontobytes = 1 Geopbyte总体通信工程属于理论偏实践的专业。学好通信专业的话,基础课程必须学好,C语言,电路分析,模电,数电,信号原理,就是跟着老师的思路走,注重实验动手就行了。另外通信工程这个专业有以下几条主线: 1电路线:高数 大物 电分 模电 数电 高频 微波 2信号线:高数 复变 信号 通原 扩频 3计算机:计导 计算机语言 计算机网络
这三条主线可以选择你感兴趣的重点关注,沿一条线发展,学好学精。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)