一、树立大成本管理理念,全员工、全方位、全过程管理好成本全要素
1全要素管理成本。从成本构成上讲,企业经营的各个要素都是企业经营必不可少的条件,有形资产(如资金、设备、材料、工具等)是成本,无形资产(如品牌、资质、技术、人才等)也是成本,工程直接费用(如人工费、材料费等)是成本,企业各级管理发生的间接费用也是成本。全要素管理成本,就是要把企业生产经营的各个要素都纳入成本管理的范畴。除了我们一直狠抓的工程成本或者项目成本之外,全员都要树立资金成本、人才成本、技术成本、品牌成本、时间成本、管理成本等概念,不管干什么工作,都要尽力降低资金成本。
2全方位管理成本。从成本耗用的空间角度讲,企业的各个角落,只要有人、有物存在,都在发生着资源的损耗,即使这个人不在岗、即使物品闲置着,只要这个人在册、只要物品占据着空间,就要增加企业的费用。所以,项目部、分公司、集团公司各部门等各级机构都有各自的成本管理的对象、范围和责任,没有轻重、主次之分。以河北建工集团为例,工程直接成本主要发生在项目部,但分公司、集团公司发生的管理费用也构成工程的间接成本。越是产业结构单一的建筑企业,其管理费用占工程成本的比重越高。分公司管理成本的重点不仅在于开发项目的投入低、报价高,可以直接提高项目的盈利水平,更表现在分公司管理项目的数量和水平上,管的项目多,在各个项目上摊销间接费用的比例就低;管理项目的水平高,项目部就会以较少的人财物和工期投入,确保工程安全、质量、工期目标或者承诺,从更高层面上降低工程成本,提高分公司利润。
3全过程管理成本。从成本发生的时间角度讲,企业从筹办开始发生的一切费用都属于成本范畴。企业经营就是以最小的投入谋求最大的产出,即追求利润最大化的过程,实现这个目标的过程就是成本控制的过程。所以说,成本管理贯穿企业生存的始终。具体到建筑项目总承包来说,各级领导都要牢固树立“四次经营”的理念:第一次经营是施工前的投标经营,即市场对接,经营的成功与否取决于投标策划;第二次经营是施工的过程管理和控制,经营的核心是设计变更、工期变化等产生的索赔、签证;第三次经营是竣工后的追踪经营,重点在清欠和兑现效益,与项目结算紧密相关;第四次经营是以现场保市场,干好现有项目,与大业主长期合作。
4全员工管理成本。从成本管理的主体角度讲,全体员工既是成本费用的耗用者,也是管理费用的支出者,当然也是成本控制的管理者、监督者。全体员工在岗一天,所干工作就要对得起自己的工资,每做一件工作就要尽量减少物的消耗、钱的支出、时间的占用,每花一笔钱就要争取最大的收益。要自觉抵制铺张浪费等行为,努力降低管理成本支出,把有限的资金用在投资性、收益性的支出上。
二、建立大成本管理体制,把职工利益与企业降本增效捆绑在一起
要想让全体员工在全方位、全过程管理好成本的全体要素,必须建立自律和他律相结合、变“要我管”为“我要管”的机制。
1继续完善全员入市办法和内部核算办法,让职工既要时刻把工程开发信息介绍到集团、力争中标,而且要让部门、分公司和职工积极主动地识别、控制项目开发的风险,不搞饥不择食,不能在投标的第一个经营环节就留下潜亏风险。
2继续完善和推广项目模拟股份制。模拟股份制是通过职工缴纳风险抵押金和签订责任状把项目降本、创优、安全、工期等目标责任与个人收入紧紧联系在一起。
3继续完善分公司风险抵押、利润分成制。资金结算中心的运行给了分公司一本明白账,干多干少与挣多挣少紧密地联系在一起,这有利于激励先进更先进,后进赶先进。
4继续完善部门全面预算管理。各部门要根据上年支出情况和今年的工作计划提出今年的费用预算,财务部要根据预算支出计划,加强资金的调拨和周转,提高资金的周转率。
5坚持成本分析制度。项目部要每月召开成本分析会,分公司每月要报告利润上缴情况,各部门预算执行情况要定期通报
三、酝酿制定企业定额,为项目大成本管理提供科学依据
目前,市场投标多为工程量清单报价,尽管其中的工程量计算规则和报价包括的内容仍然沿用了地方定额或行业定额的规定,但是在材料消耗、用工消耗、机械种类、机械配置和使用方案、管理费用的构成等各项指标上,基本上是按本企业的具体情况制定的,让施工企业能最大限度发挥自己的价格和技术优势。制定企业定额要做好以下4个方面的工作:一是企业定额各单项的平均造价要比社会平均价低,体现企业定额的先进性、合理性;二是要体现本企业在某方面的技术优势以及本企业的局部管理或全面管理方面的优势;三是企业定额的所有单价都要实行动态管理,定期调查市场,定期总结本企业各方面业绩与资料,不断完善,及时调整,与建设市场紧密联系,不断提高竞争力;四是要紧紧联系施工方案、施工工艺并与市场全面接轨。
四、强化大成本管理制度的培训、指导和检查监督力度,实现成本管理五大转变
企业的各项管理制度不能只停留在汇编里、内网上,而是要入脑入心。要加大制度落实的教育培训力度、监督检查力度和奖惩力度,坚决落实内部责任追究制度,让遵章者成榜样、得奖励,让有令不行者担责任、补损失。
通过坚决落实大成本管理的各项制度,可促进和实现成本管理的5个转变:一是成本管理的内容由单一的工程成本向全面的企业经营成本的转变;二是成本管理的空间由单一的生产一线向三级管理的各个层面转变;三是成本管理的过程由处于中间环节的施工过程向投标和决算等两头延伸;四是成本管理的主体由“要我管”向“我要管”的转变;五是成本管理的效果由简单粗放向精细高效转变。
如今大数据发展得可谓是如日中天,各行各业对于大数据分析和大数据处理的需求也是与日俱增,越来越多的决策、建议、规划和报告,都要依靠大数据的支撑,学习大数据成了不少人提升或转行的机会。因此,入门大数据开始成为很多人的第一步,下面给大家讲讲,究竟大数据入门,首要掌握的知识点有哪些,如何一步一步进阶呢?
首先我们要了解Java语言和Linux *** 作系统,这两个是学习大数据的基础,学习的顺序不分前后。楼主是JAVA毕业的,这无疑是极好的开头和奠基啊,可谓是赢在了起跑线上,接收和吸收大数据领域的知识会比一般人更加得心应手。
Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据。基础
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
好说完基础了,再说说还需要学习哪些大数据技术,可以按我写的顺序学下去。
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapReduce是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
记住学到这里可以作为你学大数据的一个节点。
Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。
Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。
Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapReduce程序。有的人说Pig那它和Pig差不多掌握一个就可以了。
Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapReduce、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。
Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka:这是个比较好用的队列工具,队列是干吗的排队买票你知道不数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。
Spark:它是用来弥补基于MapReduce处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以 *** 作它,因为它们都是用JVM的。
文 | 翟周伟本文节选自《Hadoop核心技术》一书。
Hadoop是一个开源的高效云计算基础架构平台,其不仅仅在云计算领域用途广泛,还可以支撑搜索引擎服务,作为搜索引擎底层的基础架构系统,同时在海量数据处理、数据挖掘、机器学习、科学计算等领域都越来越受到青睐。本文将讲述国内外的hadoop应用现状。
国外Hadoop的应用现状
1Yahoo
Yahoo是Hadoop的最大支持者,截至2012年,Yahoo的Hadoop机器总节点数目超过42000个,有超过10万的核心CPU在运行Hadoop。最大的一个单Master节点集群有4500个节点(每个节点双路4核心CPUboxesw,4×1TB磁盘,16GBRAM)。总的集群存储容量大于350PB,每月提交的作业数目超过1000万个,在Pig中超过60%的Hadoop作业是使用Pig编写提交的。
Yahoo的Hadoop应用主要包括以下几个方面:
支持广告系统
用户行为分析
支持Web搜索
反垃圾邮件系统
会员反滥用
内容敏捷
个性化推荐
同时Pig研究并测试支持超大规模节点集群的Hadoop系统。
2Facebook
Facebook使用Hadoop存储内部日志与多维数据,并以此作为报告、分析和机器学习的数据源。目前Hadoop集群的机器节点超过1400台,共计11200个核心CPU,超过15PB原始存储容量,每个商用机器节点配置了8核CPU,12TB数据存储,主要使用StreamingAPI和JavaAPI编程接口。Facebook同时在Hadoop基础上建立了一个名为Hive的高级数据仓库框架,Hive已经正式成为基于Hadoop的Apache一级项目。此外,还开发了HDFS上的FUSE实现。
3A9com
A9com为Amazon使用Hadoop构建了商品搜索索引,主要使用StreamingAPI以及C++、Perl和Python工具,同时使用Java和StreamingAPI分析处理每日数以百万计的会话。A9com为Amazon构建的索引服务运行在100节点左右的Hadoop集群上。
4Adobe
Adobe主要使用Hadoop及HBase,同于支撑社会服务计算,以及结构化的数据存储和处理。大约有超过30个节点的Hadoop-HBase生产集群。Adobe将数据直接持续地存储在HBase中,并以HBase作为数据源运行MapReduce作业处理,然后将其运行结果直接存到HBase或外部系统。Adobe在2008年10月就已经将Hadoop和HBase应用于生产集群。
5CbIR
自2008年4月以来,日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop来构建图像处理环境,用于图像产品推荐系统。使用Hadoop环境生成源数据库,便于Web应用对其快速访问,同时使用Hadoop分析用户行为的相似性。
6Datagraph
Datagraph主要使用Hadoop批量处理大量的RDF数据集,尤其是利用Hadoop对RDF数据建立索引。Datagraph也使用Hadoop为客户执行长时间运行的离线SPARQL查询。Datagraph是使用AmazonS3和Cassandra存储RDF数据输入和输出文件的,并已经开发了一个基于MapReduce处理RDF数据的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDFrb以及自己开发的RDFgrid框架来处理RDF数据,主要使用HadoopStreaming接口。
7EBay
单集群超过532节点集群,单节点8核心CPU,容量超过53PB存储。大量使用的MapReduce的Java接口、Pig、Hive来处理大规模的数据,还使用HBase进行搜索优化和研究。
8IBM
IBM蓝云也利用Hadoop来构建云基础设施。IBM蓝云使用的技术包括:Xen和PowerVM虚拟化的Linux *** 作系统映像及Hadoop并行工作量调度,并发布了自己的Hadoop发行版及大数据解决方案。
9LastFm
LastFm主要用于图表计算、专利申报、日志分析、A/B测试、数据集合并等,也使用Hadoop对超过百万的曲目进行大规模的音频特征分析。
节点超过100台机器,集群节点配置双四核XeonL5520@227GHzL5630@213GHz,24GB内存,8TB(4×2TB)存储。
10LinkedIn
LinkedIn有多种硬件配置的Hadoop集群,主要集群配置如下:
800节点集群,基于Westmere的惠普SL170X与2×4的核心,24GB内存,6×2TBSATA。
1900节点集群,基于Westmere的超微-HX8DTT,与2×6的核心,24GB内存,6×2TBSATA。
1400节点集群,基于SandyBridge超微与2×6的核心,32GB内存,6×2TBSATA。
使用的软件如下:
*** 作系统使用RHEL63。
JDK使用SUNJDK160_32。
Apache的Hadoop0202的补丁和ApacheHadoop的104补丁。
Azkaban和Azkaban用于作业调度。
Hive、Avro、Kafka等。
11MobileAnalyticTV
主要使用Hadoop应用在并行化算法领域,涉及的MapReduce应用算法如下。
信息检索和分析。
机器生成的内容——文档、文本、音频、视频。
自然语言处理。
项目组合包括:
移动社交网络。
网络爬虫。
文本到语音转化。
音频和视频自动生成。
12Openstat
主要利用Hadoop定制一个网络日志分析并生成报告,其生产环境下超过50个节点集群(双路四核Xeon处理器,16GB的RAM,4~6硬盘驱动器),还有两个相对小的集群用于个性化分析,每天处理约500万的事件,每月15亿美元的交易数据,集群每天产生大约25GB的报告。
使用的技术主要包括:CDH、Cascading、Janino。
13Quantcast
3000个CPU核心,3500TB存储,每日处理1PB以上的数据,使用完全自定义的数据路径和排序器的Hadoop调度器,对KFS文件系统有突出贡献。
14Rapleaf
超过80个节点的集群(每个节点有2个双核CPU,2TB×8存储,16GBRAM内存);主要使用Hadoop、Hive处理Web上关联到个人的数据,并引入Cascading简化数据流穿过各种处理阶段。
15WorldLingo
硬件上超过44台服务器(每台有2个双核CPU,2TB存储,8GB内存),每台服务器均运行Xen,启动一个虚拟机实例运行Hadoop/HBase,再启动一个虚拟机实例运行Web或应用程序服务器,即有88台可用的虚拟机;运行两套独立的Hadoop/HBase机群,它们各自拥有22个节点。Hadoop主要用于运行HBase和MapReduce作业,扫描HBase的数据表,执行特定的任务。HBase作为一种可扩展的、快速的存储后端,用于保存数以百万的文档。目前存储了1200万篇文档,近期的目标是存储45亿篇文档。
16格拉斯哥大学的TerrierTeam
超过30个节点的实验集群(每节点配置XeonQuadCore24GHz,4GB内存,1TB存储)。使用Hadoop促进信息检索研究和试验,特别是用于TREC,用于TerrierIR平台。Terrier的开源发行版中包含了基于HadoopMapReduce的大规模分布式索引。
17内布拉斯加大学的HollandComputingCenter
运行一个中等规模的Hadoop机群(共计16PB存储)用于存储和提供物理数据,以支持紧凑型μ子螺旋型磁谱仪(CompactMuonSolenoid,CMS)实验的计算。这需要一类能够以几Gbps的速度下载数据,并以更高的速度处理数据的文件系统的支持。
18VisibleMeasures
将Hadoop作为可扩展数据流水线的一个组件,最终用于VisibleSuite等产品。使用Hadoop汇总、存储和分析与网络视频观众收看行为相关的数据流。目前的网格包括超过128个CPU核心,超过100TB的存储,并计划大幅扩容。
国内Hadoop的应用现状
Hadoop在国内的应用主要以互联网公司为主,下面主要介绍大规模使用Hadoop或研究Hadoop的公司。
1百度
百度在2006年就开始关注Hadoop并开始调研和使用,在2012年其总的集群规模达到近十个,单集群超过2800台机器节点,Hadoop机器总数有上万台机器,总的存储容量超过100PB,已经使用的超过74PB,每天提交的作业数目有数千个之多,每天的输入数据量已经超过7500TB,输出超过1700TB。
百度的Hadoop集群为整个公司的数据团队、大搜索团队、社区产品团队、广告团队,以及LBS团体提供统一的计算和存储服务,主要应用包括:
数据挖掘与分析。
日志分析平台。
数据仓库系统。
推荐引擎系统。
用户行为分析系统。
同时百度在Hadoop的基础上还开发了自己的日志分析平台、数据仓库系统,以及统一的C++编程接口,并对Hadoop进行深度改造,开发了HadoopC++扩展HCE系统。
2阿里巴巴
阿里巴巴的Hadoop集群截至2012年大约有3200台服务器,大约30000物理CPU核心,总内存100TB,总的存储容量超过60PB,每天的作业数目超过150000个,每天hivequery查询大于6000个,每天扫描数据量约为75PB,每天扫描文件数约为4亿,存储利用率大约为80%,CPU利用率平均为65%,峰值可以达到80%。阿里巴巴的Hadoop集群拥有150个用户组、4500个集群用户,为淘宝、天猫、一淘、聚划算、CBU、支付宝提供底层的基础计算和存储服务,主要应用包括:
数据平台系统。
搜索支撑。
广告系统。
数据魔方。
量子统计。
淘数据。
推荐引擎系统。
搜索排行榜。
为了便于开发,其还开发了WebIDE继承开发环境,使用的相关系统包括:Hive、Pig、Mahout、Hbase等。
3腾讯
腾讯也是使用Hadoop最早的中国互联网公司之一,截至2012年年底,腾讯的Hadoop集群机器总量超过5000台,最大单集群约为2000个节点,并利用Hadoop-Hive构建了自己的数据仓库系统TDW,同时还开发了自己的TDW-IDE基础开发环境。腾讯的Hadoop为腾讯各个产品线提供基础云计算和云存储服务,其支持以下产品:
腾讯社交广告平台。
搜搜(SOSO)。
拍拍网。
腾讯微博。
腾讯罗盘。
QQ会员。
腾讯游戏支撑。
QQ空间。
朋友网。
腾讯开放平台。
财付通。
手机QQ。
QQ音乐。
4奇虎360
奇虎360主要使用Hadoop-HBase作为其搜索引擎socom的底层网页存储架构系统,360搜索的网页可到千亿记录,数据量在PB级别。截至2012年年底,其HBase集群规模超过300节点,region个数大于10万个,使用的平台版本如下。
HBase版本:facebook089-fb。
HDFS版本:facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要为了优化减少HBase集群的启停时间,并优化减少RS异常退出后的恢复时间。
5华为
华为公司也是Hadoop主要做出贡献的公司之一,排在Google和Cisco的前面,华为对Hadoop的HA方案,以及HBase领域有深入研究,并已经向业界推出了自己的基于Hadoop的大数据解决方案。
6中国移动
中国移动于2010年5月正式推出大云BigCloud10,集群节点达到了1024。中国移动的大云基于Hadoop的MapReduce实现了分布式计算,并利用了HDFS来实现分布式存储,并开发了基于Hadoop的数据仓库系统HugeTable,并行数据挖掘工具集BC-PDM,以及并行数据抽取转化BC-ETL,对象存储系统BC-ONestd等系统,并开源了自己的BC-Hadoop版本。
中国移动主要在电信领域应用Hadoop,其规划的应用领域包括:
经分KPI集中运算。
经分系统ETL/DM。
结算系统。
信令系统。
云计算资源池系统。
物联网应用系统。
E-mail。
IDC服务等。
7盘古搜索
盘古搜索(目前已和即刻搜索合并为中国搜索)主要使用Hadoop集群作为搜索引擎的基础架构支撑系统,截至2013年年初,集群中机器数量总计超过380台,存储总量总计366PB,主要包括的应用如下。
网页存储。
网页解析。
建索引。
Pagerank计算。
日志统计分析。
推荐引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已与盘古搜索合并为中国搜索)也使用Hadoop作为其搜索引擎的支撑系统,截至2013年,其Hadoop集群规模总计超过500台节点,配置为双路6核心CPU,48G内存,11×2T存储,集群总容量超过10PB,使用率在78%左右,每天处理读取的数据量约为500TB,峰值大于1P,平均约为300TB。
即刻搜索在搜索引擎中使用sstable格式存储网页并直接将sstable文件存储在HDFS上面,主要使用HadoopPipes编程接口进行后续处理,也使用Streaming接口处理数据,主要的应用包括:
网页存储。
解析。
建索引。
推荐引擎。
end
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)