一、什么是大型网站运维
首先明确一下,全文所讲的”运维“是指:大型网站运维,与其它运维的区别还是蛮大的;然后我们再对大型网站与小型网站进行范围定义,此定义主要从运维复杂性角度考虑,如网站规范、知名度、服务器量级、pv量等考虑,其它因素不是重点;因此,我们先定义服务器规模大于1000台,pv每天至少上亿(至少国内排名前10),如sina、、,renrencom等等;其它小型网站可能没有真正意义上的运维工程师,这与网站规范不够和成本因素有关,更多的是集合网络、系统、开发工作于一身的“复合性人才”,就如有些公司把一些合同采购都纳入了运维职责范围,还有如IDC网络规划也纳入运维职责。所以,非常重要一定需要明白:运维对其它关联工种必须非常了解熟悉:网络、系统、系统开发、存储,安全,DB等;我在这里所讲的运维工程师就是指专职运维工程师。
我们再来说说一般产品的“出生”流程:
1、首先公司管理层给出指导思想,PM定位市场需求(或copy成熟应用)进行调研、分析、最终给出详细设计。
2、架构师根据产品设计的需求,如pv大小预估、服务器规模、应用架构等因素完成网络规划,架构设计等(基本上对网络变动不大,除非大项目)
3、开发工程师将设计code实现出来、测试工程师对应用进行测试。
4、好,到运维工程师出马了,首先明确一点不是说前三步就与运维工作无关了,恰恰相反,前三步与运维关系很大:应用的前期架构设计、软/硬件资源评估申请采购、应用设计性能隐患及评估、IDC、服务性能安全调优、服务器系统级优化(与特定应用有关)等都需运维全程参与,并主导整个应用上线项目;运维工程师负责产品服务器上架准备工作,服务器系统安装、网络、IP、通用工具集安装。运维工程师还需要对上线的应用系统架构是否合理、是否具备可扩展性、及安全隐患等因素负责,并负责最后将产品(程序)、网络、系统三者进行拼接并最优化的组合在一起,最终完成产品上线提供用户使用,并周而复使:需求->开发(升级)->测试->上线(性能、安全问题等之前预估外的问题随之慢慢就全出来了)在这里提一点:网站开发模式与传统软件开发完全不一样,网站一天开发上线1~5个升级版本是家常便饭,用户体验为王嘛,如果某个线上问题像M$需要1年解决,用户早跑光了;应用上线后,运维工作才刚开始,具体工作可能包括:升级版本上线工作、服务监控、应用状态统计、日常服务状态巡检、突发故障处理、服务日常变更调整、集群管理、服务性能评估优化、数据库管理优化、随着应用PV增减进行应用架构的伸缩、安全、运维开发工作:
a、尽量将日常机械性手工工作通过工具实现(如服务监控、应用状态统计、服务上线等等),提高效率。
b、解决现实中服务存在的问题,如高可靠性、可扩展性问题等。
c、大规模集群管理工具的开发,如1万台机器如何在1分钟内完成密码修改、或运行指定任务?2000台服务器如何快速安装 *** 作系统?各分布式IDC、存储集群中数PT级的数据如何快速的存储、共享、分析?等一系列挑战都需运维工程师的努力。
在此说明一下其它配合工种情况,在整个项目中,前端应用对于网络/系统工程师来说是黑匣子,同时开发工程师职责只是负责完成应用的功能性开发,并对应用本身性能、安全性等应用本身负责,它不负责或关心网络/系统架构方面事宜,当然软/硬件采购人员等事业部其它同事也不会关心这些问题,各司其职,但项目的核心是运维工程师~!所有其它部门的桥梁。
上面说了很多,我想大家应该对运维有一些概念了,在此打个比方吧,如果我们是一辆高速行驶在高速公路上的汽车,那运维工程师就是司机兼维修工,这个司机不简单,有时需要在高速行驶过程中换轮胎、并根据道路情况换档位、当汽车速度越来越快,汽车本身不能满足高速度时对汽车性能调优或零件升级、高速行进中解决汽车故障及性能问题、时刻关注前方安全问题,并先知先觉的采取规避手段。这就是运维工作~!
最后说一下运维工程师的职责:”确保线上稳定“,看似简单,但实属不容易,运维工程师必须在诸多不利因素中进行权衡:新产品模式对现有架构及技术的冲击、产品高频度的升级带来的线上BUG隐患、运维自动化管理承度不高导致的人为失误、IT行业追求的高效率导致流程执行上的缺失、用户增涨带来的性能及架构上的压力、IT行业宽松的技术管理文化、创新风险、互联网安全性问题等因素,都会是网站稳定的大敌,运维工程师必须把控好这最后一关,需具体高度的责任感、原则性及协调能力,如果能做到各因素的最佳平衡,那就是一名优秀的运维工程师了。
另外在此聊点题外话,我在这里看到有很多人要sina、、,51com等聊自已的运维方面的经验,其实这对于它们有点免为其难:
a、各公司自已网络架构、规模、或多或少还算是公司的核心秘密,要保密,另外,对于大家所熟知的通用软件、架构,由于很多公司会根据自已实际业务需要,同时因为原版性能、安全性、已知bug、功能等原因,进行过二次开发(如apache,php,mysql), *** 作系统内核也会根据不同业务类型进行定制的,如某些应用属于运算型、某些是高IO型、或大存储大内存型。根据这些特点进行内核优化定制,如sina就在memcache上进行过二次开发,搞出了一个MemcacheDB,具体做得如何我们不谈,但开源了,是值得称赞的,国内公司对于开源基本上是索取,没有贡献;另外,服务器也不是大家所熟知的型号,根据业务特点,大部份都是找DELL/HP/ibm进行过定制;另外,在分布式储存方面都有自已解决方案,要不就是使用现成开源hadoop等解决方案,或自已开发。但90%都是借鉴googleGFS的思想:分布式存储、计算、大表。
c、如上面所讲,目前大型网站运维还处于幼年时期理念和经验都比较零散,没有成熟的知识体系,可能具体什么是运维,大家都要先思索一番,或压根没想过,真正讨论也只是运维工作的冰山一角,局限于具体技术细节,或某某著名网站大的框架,真正运维体系化东西没有,这也许是目前网上运维相关资料比较少的原故吧。或者也是国内运维人员比较难招,比较牛的运维工程师比较少见的原因之一吧。
二、运维工作师需要什么样的技能及素质
做为一名运维工程师需要什么样的技能及素质呢,首先说说技能吧,如大家上面所看到,运维是一个集多IT工种技能与一身的岗位,对系统->网络->存储->协议->需求->开发->测试->安全等各环节都需要了解一些,但对于某些环节需熟悉甚至精通,如系统(基本 *** 作系统的熟悉使用,nix,windows)、协议、系统开发(日常很重要的工作是自动运维化相关开发、大规模集群工具开发、管理)、通用应用(如lvs、ha、webserver、db、中间件、存储等)、网络,IDC拓朴架构;
技能方面总结以下几点:
1、开发能力,这点非常重要,因为运维工具都需要自已开发,开发语言:c/c++(必备其中之一)、perl、python、php(其中之一)、shell(awk,sed,expect等),需要有过实际开发经验,否则工作会非常痛苦。
2、通用应用方面需要了解: *** 作系统(目前国内主要是linux、bsd)、webserver相关(nginx,apahe,php,lig>
3、系统、网络、安全,存储,CDN,DB等需要相当了解,知道其相关原理。
个人素质方面:
1、沟通能力、团队协作:运维工作跨部门、跨工种工作很多,需善于沟通、并且团队协作能力要强;这应该是现代企业的基本素质要求了,不多说。
2、工作中需胆大心细:胆大才能创新、不走寻常路,特别对于运维这种新的工种,更需创新才能促进发展;心细,运维工程师是网站admin,最高线上权限者,一不小心就会遗憾终生或打入十八层地狱。
3、主动性、执行力、精力旺盛、抗压能力强:由于IT行业的特性,变化快;往往计划赶不上变化,运维工作就更突出了,比如国内各大公司服务器往往是全国各地,哪里便宜性价比高,就那往搬,进行大规模服务迁移(牵扯的服务器成百上千台),这是一个非常头痛的问题;往往时间非常紧迫,如限1周内完成,这种情况下,运维工程师的主动性及执行力就有很高的要求了:计划、方案、服务无缝迁移、机器搬迁上架、环境准备、安全评估、性能评估、基建、各关联部门扯皮,7X24小紧急事故响应等。
4、其它就是一些基本素质了:头脑要灵光、逻辑思维能力强、为人谦虚稳重、亲和力、乐于助人、有大局观。
5、最后一点,做网站运维需要有探索创新精神,通过创新型思维解决现实中的问题,因为这是一个处于幼年的职业(国外也一样,但比国内起步早点),没有成熟体系或方法论可以借鉴,只能靠大家自已摸索努力。
三、怎样才算是一个合格的运维工程师
1、保证服务达到要求的线上标准,如999%;保证线上稳定,这是运维工程师的基本责职所在。
2、不断的提升应用的可靠性与健壮性、性能优化、安全提升;这方面非常考验主动性、和创新思维。
3、网站各层面监控、统计的覆盖度,软件、硬件、运行状态,能监控的都需要监控统计,避免监控死角、并能实时了解应用的运转情况。
4、通过创新思维解决运维效率问题;目前各公司大部份运维主要工作还是依赖人工 *** 作干预,需要尽可能的解放双手。
5、运维知识的积累与沉淀、文档的完备性,运维是一个经验性非常强的岗位,好的经验与陷阱都需积累下来,避免重复性范错。
6、计划性和执行力;工作有计划,计划后想法设法达到目标,不找借口。
以上只是技术上的一些层面,当然个人意识也是很重要的。
四、运维职业的迷惘、现状与发展前景
运维岗位不像其它岗位,如研发工程师、测试工程师等,有非常明确的职责定位及职业规划,比较有职业认同感与成就感;而运维工作可能给人的感觉是哪方面都了解一些,但又都比上专职工程师更精通、感觉平时被关注度比较低(除非线上出现故障),慢慢的大家就会迷惘,对职业发展产生困惑,为什么会有这种现象呢?除了职业本身特点外,主要还是因为对运维了解不深入、做得不深入导致;其实这个问题其它岗位也会出现,但我发现运维更典型,更容易出现这个问题;
针对这个问题我谈一下网站运维的现状及发展前景(也在思考中,可能不太深入全面,也请大家斧正补充)
运维现状:
2、技术层次比较低;主要处于技术探索、积累阶段,没有型成体系化的理念、技术。
3、体力劳动偏大;这个问题主要与第二点有关系,很多事情还是依靠人力进行,没有完成好的提练,对于大规模集群没有成熟的自动化管理方法,在此说明一下,大规模集群与运维工作是息息相关的如果只是百十来台机器,那就没有运维太大的生存空间了。
4、优秀运维人才的极度缺乏;目前各大公司基本上都靠自已培养,这个现状导致行业内运维人才的流动性非常低,非常多好的技术都局限在各大公司内部,如google50万台机器科学的管理,或者国内互联公司top10的一些运维经验,这些经验是非常有价值的东西并决定了一个公司的核心竞争力;这些问题进而导致业内先进运维技术的流通、贯通、与借签,并最终将限制了运维发展。
5、很多优秀的运维经验都掌握在大公司手中;这不在于公司的技术实力,而在于大公司的技术规模、海量PV、硬件规模足够大,如可怕的流量、51com海量数据~~~~这些因素决定了他们遇到的问题都是其它中/小公司还没有遇到的,或即将遇到。但大公司可能已有很好的解决方案或系统。
发展前景:
1、从行业角度来看,随着中国互联网的高速发展(目前中国网民已跃升为全球第一)、网站规模越来越来大、架构越来越复杂;对专职网站运维工程师、网站架构师的要求会越来越急迫,特别是对有经验的优秀运维人才需求量大,而且是越老越值钱;目前国内基本上都是选择毕业生培养(限于大公司),培养成本高,而且没有经验人才加入会导致公司技术更新缓慢、影响公司的技术发展;当然,毕业生也有好处:白纸一张,可塑性强,比较认同并容易融入企业文化。
2、从个人角度,运维工程师技术含量及要求会越来越高,同时也是对公司应用、架构最了解最熟悉的人、越来越得到重视。
3、网站运维将成为一个融合多学科(网络、系统、开发、安全、应用架构、存储等)的综合性技术岗位,给大家提供一个很好的个人能力与技术广度的发展空间。
4、运维工作的相关经验将会变得非常重要,而且也将成为个人的核心竞争力,具备很好的各层面问题的解决能力及方案提供、全局思考能力等。
5、特长发控和兴趣的培养;由于运维岗位所接触的知识面非常广阔,更容易培养或发挥出个人某些方面的特长或爱好,如内核、网络、开发、数据库等方面,可以做得非常深入精通、成为这方面的专家。
6、如果真要以后不想做运维了,转到其它岗位也比较容易,不会有太大的局限性。当然了,你得真正用心去做。
7、技术发展方向、网站/系统架构师。
物联网包含很多的技术,主要有:电子技术基础、信号与系统、电磁场与电磁波、自动控制原理、数字信号处理、嵌入式系统与应用、计算机组成与系统结构、微机系统及接口技术、高级语言程序设计、算法与数据结构、计算机通信原理、移动通信技术、嵌入式技术、射频识别及其应用、 *** 作系统、数据库系统、网络计算、计算机网络、信息安全、网络程序设计、网络管理、组网工程、Web系统开发与集成、物联网导论、物联网感知技术等要想成为系统的的物联网工程师需要系统学习。由浅入深地对嵌入式物联网技术以及Linux平台全面掌握,能够独立胜任物联网开发、嵌入式Linux应用开发、5G周边产品开发、底层系统开发、设备驱动开发、从终端到云技术开发以及Linux衍生产品等多方面工作。可以更加系统的了解嵌入式物联网相关行业知识。具体所学知识包括:
1嵌入式C语言高级编程及行业应用
2各常用数据结构与算法相关知识,以及面向接口的编程
3GUI图形库应用开发技术
4Linux *** 作系统使用
5Linux系统编程
6Linux系统网络编程
7Linux网络路由及数据交换技术
8嵌入式数据库
9嵌入式C++语言编程,以及面向模板库的应用开发
10OpenCV、OpenGL等图像处理
11AI模型训练及场景定位识别应用
12RFID场景应用
13zigbee低功耗网络技术
14Bluebooth组网技术
15MQTT云平台搭建技术
16NB-IOT各大云平台通信技术
17基于5G技术的嵌入式物联网行业应用
18ARM体系结构
19Bootloader启动过程
20常见Bootloader源码及平台移植
21嵌入式Linux内核裁减以及移植
22嵌入式Linux平台搭建技术及技巧
23Android ROM包制作流程
24Android底层驱动开发
25嵌入式从8位到64位硬件底层开发
26嵌入式Linux设备驱动移植以及开发
如果有机会通过十个左右的大项目实践,掌握物联网+嵌入式实际项目案例开发流程,提高研发技能。
射频识别技术
谈到物联网,就不得不提到物联网发展中备受关注的射频识别技术。RFID是一种简单的无线系统,由一个询问器(或阅读器)和很多应答器(或标签)组成。
标签由耦合元件及芯片组成,每个标签具有唯扩展词条一的电子编码,附着在物体上标识目标对象,它通过天线将射频信息传递给阅读器,阅读器就是读取信息的设备。
传感网
MEMS是微机电系统它是由微传感器、微执行器、信号处理和控制电路、通讯接口和电源等部件组成的一体化的微型器件系统。其目标是把信息的获取、处理和执行集成在一起,组成具有多功能的微型系统,集成于大尺寸系统中,从而大幅度地提高系统的自动化、智能化和可靠性水平。
云计算
一个核心理念就是通过不断提高“云”的处理能力,不断减少用户终端的处理负担,最终使其简化成一个单纯的输入输出设备,并能按需享受“云”强大的计算处理能力。
物联网感知层获取大量数据信息,在经过网络层传输以后,放到一个标准平台上,再利用高性能的云计算对其进行处理,赋予这些数据智能,才能最终转换成对终端用户有用的信息。
扩展资料:
物联网的应用领域涉及到方方面面,在工业、农业、环境、交通、物流、安保等基础设施领域的应用,有效的推动了这些方面的智能化发展,使得有限的资源更加合理的使用分配,从而提高了行业效率、效益。 在家居、医疗健康、教育、金融与服务业、旅游业等与生活息息相关的领域的应用。
从服务范围、服务方式到服务的质量等方面都有了极大的改进,大大的提高了人们的生活质量; 在涉及国防军事领域方面,虽然还处在研究探索阶段。
但物联网应用带来的影响也不可小觑,大到卫星、导d、飞机、潜艇等装备系统,小到单兵作战装备,物联网技术的嵌入有效提升了军事智能化、信息化、精准化,极大提升了军事战斗力,是未来军事变革的关键
参考资料来源:百度百科-物联网
早在2014年11月的时候,全球最具影响力的管理思想家之一、哈佛商学院教授迈克尔·波特和PTC首席执行官Jim Heppelman 在《哈佛商业评论》上发表了一篇具有重大影响力的文章——《智能互联产品如何改变竞争》。他们认为,物联网互联产品将改变传统的产业结构、商业模式以及许多行业的竞争本质。自从这篇文章发表以来,世界上已经出现了许多颠覆性的物联网商业模式创新。例如:iRobot公司凭借其自主物联网连接的吸尘机器人,实现了从零到900万台物联网连接设备的销售量,从而改变整个吸尘器行业的状态;Thyssenkrupp电梯物联网连接的电梯已经从零增加到130,000个,其三个主要竞争对手Otis、Schindler和Kone都引入了类似的基于IoT的商业模式;共享单车行业,在美国已经从零发展到3900万人次,基本上就是通过物联网技术的出现而创建的。
还有成千上万的新智能产品/物联网商业模式的例子,还在酝酿中。那些目前正在(或计划将)智能互联产品推向市场的企业,可以从这些早期的创新者身上学到什么?前不久,市场咨询公司IoT Analytics发布了《2020 IoT商业化和商业模式采用》,探讨了全球领先的设备和产品制造商(OEM)在过去5年如何成功推出智能互联物联网产品以及心得体会。
开发一个物联网业务模式或业务模型并将之商业化并不简单,但可能会是颠覆性的“ 游戏 规则改变者”。61%参与了IoT Analytics研究报告者声称,与竞争对手相比,物联网商业模式让其公司获得了竞争优势。
将智能连接产品推向市场时,需要进行很多考量,例如:是首先接触现有客户,还是瞄准新客户;可以通过硬件、软件、服务或数据获利,还是这些的组合;是一次性收费,还是按月收费,甚至可能是按使用量收费;是否免费提供某些功能;是按成本定价,还是按利润率定价,或者是通过亏损以获得早期市场份额;是直接销售给客户,还是通过第三方(市场)销售等等。
物联网商业模式与产品开发和产品商业化这两个相邻的环节紧密相连。IoT Analytics将其分为3个部分: 开发物联网产品(例如上市时间和开发功能)、开发物联网商业模式(该分析主要基于Zollenkop框架,着眼于三个要素:市场定位、价值链和收入模型)以及物联网产品的商业化(例如:确定合适的价格水平、推动采用的措施和衡量成功的KPI)。
IoT Analytics的报告就这些问题给出了相应的6个观点,并强调了哪些物联网商业模式被认为更成功。
观点1。智能连接物联网产品,从内部项目启动到第一个付费用户平均需要23个月。然而,从开始到第一次付费客户所需的总时间,相比平均值有巨大差异。最快的实现发生在8个月,而最长的可能需要长达76个月(根据IoT Analytics的分析)。
观点2。有许多因素驱动了将智能互联物联网产品推向市场的复杂性。特别是较大的公司必须花更多的时间来协调多个部门和流程。根据分析,典型的物联网产品的引入会“主要影响”到6个部门(其中IT和R&D受影响最大)。
推动IT和研发部门工作的,是在IoT互联产品中加入许多软件特性和服务。物联网产品平均拥有12项新功能,几乎所有物联网公司(91%)都为客户提供监控仪表板,而库存管理或工作流优化等功能则很少见。
观点3。在这次分析中,近四分之三的受访者开发了一款全新的或主要经过重新设计的产品,而这种产品以前并不存在。大多数受访者还表示,物联网产品的销售对象是一些新的决策者(以及一些现有的决策者)。结果是,52%的物联网商业模式可以归类为“多元化”,只有11%归类为“市场渗透”,即在现有产品加上小的附加功能,销售给和以前完全相同的决策者。
观点4。目前,超过95%的物联网硬件都已获利。然而,在大多数情况下,硬件只是多种变现方式的一部分。大多数研究参与者预计,未来两年,服务(包括传统和数字)和数据的重要性将显著提高。随着硬件获利重要性的下降,预计基于时间、使用和成功而盈利的模式的重要性将会增加。
欧洲某 汽车 行业高级IT经理表示:“我们未来的重点将更多地放在数字服务上。当前我们对用户只有一个接触点:安装硬件。展望未来,随着数据日趋成熟,以及拥有更好的远程软件更新能力,我们将能够提供更多以用户为中心的SaaS产品/功能,客户可以在网上购买。”
观点5。物联网解决方案的成功商业化在产品推出前很久就开始了。美国某机械设备制造商高级产品经理表示:“在构建和销售解决方案之前,清楚了解客户的需求至关重要。”
分析显示,不同地区的客户采用率存在巨大差异,一些功能显然比其它功能更受客户欢迎。客户采用率排名占前四分之一的两项功能分别是“状态监视”和“预测性维护”,这与IoT Analytics先前关于预测性维护主题的报告相符。
因此,许多研究参与者指出,教育自己的团队,特别是面向客户的员工的重要性就不足为奇了。美国某机械设备制造商高级产品经理表示:“对员工的培训是一项艰巨的任务,因为该技术对公司整体来说是新技术,并且所有领域的专家都需要接受培训。”
当前,我们正在进入全新的“咆哮20年”的开始。这是ARM与经济学人在今年上半年推出的《物联网商业指数2020》所提示的变化:即所有产业面对的障碍正逐渐降低,超过一半的受访企业已经处于物联网网络部署初期或大规模部署阶段。《物联网商业指数2020》强调,物联网的“商业价值之路”已经出现,企业在物联网方面的初期投资通常能够明确的投资回报,而随着物联网数据与其它数据集的结合以及纳入整体分析中,物联网的价值也在上升。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)