大数据时代:如何守护我们的数据安全

一、离线数据同步

DataX

阿里的Datax是比较优秀的产品，基于python，提供各种数据村塾的读写插件，多线程执行，使用起来也很简单， *** 作简单通常只需要两步；

创建作业的配置文件（json格式配置reader,writer）；

启动执行配置作业。

非常适合离线数据，增量数据可以使用一些编码的方式实现，

缺点：仅仅针对insert数据比较有效，update数据就不适合。缺乏对增量更新的内置支持，因为DataX的灵活架构，可以通过shell脚本等方式方便实现增量同步。

参考资料：

github地址：>所谓的大数据平台不是独立存在的，比如百度是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。
我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。
这是个需求驱动的过程。
曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。
对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。
当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。
也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起724小时随时准备出台。然后上面再有平台组真的大数据平台走起。
然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。
当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。
接下去你可能需要一些重量的组件帮你做一些事情。
比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。
你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。
数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。
你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。
至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。
比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。
你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。
又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。
再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。
当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？
你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。
上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

5G云网络计算是中国领先的云计算公司，采用前沿云计算技术，专注打造专业的公共云计算服务,5G云主机13年老品牌：虚拟主机、域名注册、VPS主机、云服务器等，5G云怎么样！30余万个虚拟主机网站及200余万个域名用户的共同选择！

5G云网络是国内首批通过工业和信息化产业部认证并颁发《中华人民共和国增值电信业务经营许可证》的知名网络服务平台。 5G云网络一直秉承"以人为本、客户为尊、永续创新"的价值观，坚持"以微笑收获友善，以尊重收获理解，以责任收获支持，以谦卑收获成长"的行为观向客户提供全面优质的互联网应用服务。

5G云国际站

信息增值业务

互联网+设计

5G云技术运维服务中心拥有一支由数十名资深网络安全专家、软件工程师和项目管理专家组成的专业队伍。构建了365天不间断的稳定运行保障体系，服务器集群分布于国内外10多个顶尖IDC数据中心。各数据中心均部署7x24小时现场维护人员，金盾、黑洞等高性能硬件防火墙、电信级网络实时监控系统等，为客户提供高质量、高效率、高安全性的7x24小时专业运维保证。5G云与中国电信、中国网通及北京双线、上海双线、郑州多线等多家国内顶级机房深入合作，机房资源覆盖全国，强力保证为客户提供优质稳定的网络资源与机房服务，完美解决南北互联互通问题。

环境保障

机房整体抗地震级别高达8级，地板承重达800/平方米；多台空调机采用侧送和风管输送相结合的方式送风，保证通风、恒温、恒湿。机房温度：15-25摄氏度，相对湿度：30%-70%；绝缘地板设计，温度烟雾感应消防系统、防火报警探测头，遇火情时系统自动报警，并启动气体自动灭火器灭火。

电力保障

两路一类市电采用10KV三相线路，互为主备用；双路冗余大功率智能UPS系统，保证持续供电；双备份柴油发电机组后备电源，保证999%持续电力供应；交流电220V 50HZ（16A或25A）标准19英寸机架，每台机架采用双路UPS电源直接供电。

安全保障

专业保安24小时值守，进出机房验证登记制度；数据中心安装美国AV公司的闭路电视监控系统，提供全智能化管理。电视墙监控系统专人724小时值守，所有录像保存三个月以上；数据中心安装德国西门子公司的非接触式IC卡电子门禁系统及指纹识别系统，采用先进的数据库管理，IC卡内保存有持卡人编号、进出区域限制、时间限制等资料，只有经过特殊授权的人员才能进入重要区域。

网络保障

30G光纤直连ChinaNet四川骨干节点，有效保障网络的稳定性和高速性；CISCO GSR 12008（或JUNIPER M20）高端路由器支撑IDC内部骨干；IDC内部重要网络设备采用双点备份，避免单点故障，增强网络可靠性；数据中心设有DNS服务器，为您提供正向、反向解析域名服务。

技术支持

公司拥有雄厚的维护和支持力量，其资深专业工程师具备多年电信机房管理、互联网网络维护及网站建设维护经经验，将为您提供从机房设备维护、网络实时监控到网络设备故障排除等全方位的724小时的专业技术支持。真正实现在24小在线售后的服务方针。

虚拟主机

1、5G云拥有良好口碑的品牌优势，高品质的产品和服务；被国外权威主机评测机构评测为中国排名第10名的专业虚拟主机服务商，强大的品牌优势让您用的放心！

2、5G云采用独特的第六代高级虚拟主机系统、数据双重保护、软硬件/透明防火墙三重保障，SSL加密技术，保证数据安全。独有的千M“黑洞”防DDOS攻击防火墙，全面为您的网站保驾护航！空间域名自由绑定，空间主机及邮件系统可用于任何域名，包括子域名，完善在线管理功能。

3、免费赠送功能强大的网站统计报告，业内首家提供日流量、月流量报表（GB/月），在线查看WEB访问日志，实时掌握网站访问信息，如虎添翼般让您的网上空间发挥最大功效4、5G云自主开发的超强控制面版，包括计数器、留言板、数据库管理、JAVA 控制工具箱 ,空间使用状况、邮件管理、邮件空间管理、多项密码修改、DNS自动同步、在线升级、在线查看WEB日志、RAR文件解压、自定义错误页面、网站备案等个性服务，其它多项基础服务，体贴周到。5、主机位于四川电信vip专用机房和北京中关村数据双线机房，其5G多芯光纤带宽与CHINANET骨干网高速连接，数据等级全国最高。运行速度普遍比国内同类虚拟主机供应商快50%。服务器为双CPU:xeon 282 内存:2G Ecc 硬盘:73G scsi2(RAID1),WIN2000/2003 *** 作系统；全部采用DELL品牌服务器，硬件配置随时更新，保证业内领先。

6、完整的产品线：五大类共32个类型的虚拟主机产品，从低端和高端，从普通Html空间到Java，从电信到网通，从Windows系列到Linux系列，5G云应有尽用，让您放心选择！

7、全面提供支持ACCESS、MYSQL、SQL SERVER 2000 等各类数据库。购买主机免费赠送企业邮局、赠送日志空间、赠送访问统计、赠送access,mysql等数据库。

8、不间断724小时全程服务，每三分钟自动监视一次所有的服务器。

无障碍技术支持：24×7×365制技术支持，微笑面对任何用户。提供全球免费电话、QQ,MSN在线服务，沟通无障碍。

9、服务器采用超线程技术，多线程在多处理器上并发运行，有效防止一个用户的程序卡死而影响到其他用户程序的情况

10、邮件空间和虚拟主机空间放置于不同主机，完全做到空间分离;

11、实时病毒保护系统/ 黑客入侵检测系统 / 服务应用防火墙 / 全智能抵抗红色代码、冲击波等恶性蠕虫病毒。

12、每7天备份一次用户数据，用户可以随时免费恢复到7天前的数据状态，有效降低意外情况造成的损失，免费支持自助数据恢复功能，业内首创！即使出现服务器硬件损坏，我们的备份机制和灾难恢复系统也可在最短时间内恢复用户数据

13、团队经验丰富：5年服务器维护经验，让您放心使用。

14、虚拟主机、域名注册、企业邮局等业务全部在线实时开通、自主管理。

15、5G云虚拟主机试用7天，满意再付款！

16、独有的CDN网络加速功能，彻底解决"南北互通"问题！

17、同时提供中国电信、中国网通和北京中关村双线机房供用户选择，彻底解决"南北互通"问题！

18、性价比高：在同行业中一直保持低价高品质的服务策略，让您真正物超所值。

19、免费提供非经营性icp证申请服务及备案相关咨询，自动上传备案证书，自动放置证书编号，让您轻松通过网站备案！[3]

服务器优势

国内服务器提供商、品牌保证，近万名服务器客户的共同选择

国内性价比高的服务器，10大机房，自由选择，实时开通！

免费提供“5G云网站管理助手”Linux平台免费赠送WDCP控制面板，不懂技术也能用！

超强的服务器管理平台，在线重启、自助重装、切换系统(win2003/Linux)等。

可以月付，使用满意后再长期购买，风险小！

7X24专业人员提供技术支持。

机房资源丰富，电信、联通、双线、多线、港台、美国，满足您的各类需求！可自主切换机房(业内独家提供)

提供每周异盘数据备份，防止硬盘损坏、数据误删除的风险。独家提供随时找回备份盘数据及自主恢复备份功能！

内存大！同行1G 服务器的价格可在我司购买到2G内存的服务器！

备案系统强大易用、流程最优！

产品特色

Hyper-V与其他的虚拟化平台相比，突出的特点就是精简了结构提高了性能，下面我们用Virtual Server作为传统虚拟化技术的代表与Hyper-V进行对比。Hyper-V和Virtual Server虽然同为微软的服务器虚拟化产品，却有着很显著的区别：Hyper-V在构架上已经完全不同于后者，可以说是微软在虚拟化技术上的一个突破性进展。2014年市场上较主流配置的VPS一般是256M或512M内存，最低的有128M的，这经常会导致系统内存资源不足，特别是运行Mysql或Mssql的情况下，内存耗尽后系统响应速度非常慢；为了给用户提供优质的VPS使用体验，5G云整合资源，在业内率先推出1G内存的VPS，价格却跟其他服务商256M内存的产品相仿；服务器CPU采用二颗四核至强5405,其性能是酷睿系列的5倍以上；硬盘采用万转SAS硬盘阵列，SAS硬盘传输数据可以达到30Gbit/sec，是SATA硬盘传输速率的2倍左右。虚拟化软件采用hyper-v,hyper-v占系统资源很少，性能远优于vmware。用户间的彼此隔离 灵活性和直接控制VPS。对VPS的全面控制：运行任意应用软件、创建任意定制的配置。

高安全性 更高的安全性同时意味着更高的服务可靠性。

资源控制和峰值性 确保用户得到更高水平的服务和资源。允许峰值性使用闲置的服务器资源，提供了一个好于独立主机水平的服务（许多低端的独立服务器资源都次于DS所用服务器的水平）模板和应用程序套件 获得新的应用。 *** 作系统和应用软件能及时更新，降低安全风险。控制面板功能：重启动、重装、备份、恢复，升级等。轻松迁移机房：多个机房可选，无缝升级和迁移时无需停止服务。可满足从低到高几乎全部主机服务的需求。

时间同步和时钟同步是一个概念，在大数据、企业局域网、云计算都需要卫星同步，因为各个服务器之间的时间会产生差异，影响系统的稳定运行。

在科技的发展下GPS北斗卫星时钟同步也得到了广泛应用，比如工业、科研、航空航天、公共场所等领域都用到了GPS北斗卫星时钟同步，GPS北斗卫星时钟同步以卫星时间为基准授时准确，替代了传统钟表授时的单一和时间误差大等缺点。

GPS北斗卫星时钟同步是指接收GPS北斗卫星信号，并通过NTP网络协议进行对时的时间服务器。XBD211NTP网络时间服务器配置卫星信号接收机，可接收单北斗或单GPS卫星以及GPS北斗混合的信号，并使用网络信号授时，每路网口都为独立局域网互不干扰，GPS北斗卫星时钟同步可以给多种不同的时间系统进行授时。

---