定义之前先在BSC下敲入口指令aploc; | 国内领先的
通信技术论坛%p1L,]4w C+V1、定义传送方向:移动通信,通信工程师的家园,通信人才,求职招聘,网络优化,通信工程,出差住宿,通信企业黑名单(Z9H3a4f$O H$a*r `8ncdhdef -aOSS服务器IP -t ftpv2 -c i -r OSS服务器目录路径-u OSS用户ID -p ossmrrbsc移动通信,通信工程师的家园,通信人才,求职招聘,网络优化,通信工程,出差住宿,通信企业黑名单&f2B6j8W6y6l1d//红色字为局方提供;"z0M6e1`(]6o+P#A1c,uPassword:输入OSS用户ID的密码即可3W:L4m4Z$g#Kcdhver ossmrrbsc//蓝色字为自定义 2、定义传送方向集:cdhdsdef ossmrrbsc ossmrrbsc移动通信,通信工程师的家园,通信人才,求职招聘,网络优化,通信工程,出差住宿,通信企业黑名单0O)g!y2O5I%n$~7d//第一歼态个ossmrrbsc为传送方向,第二个ossmrrbsc为传送方向集,一般传送方向和传送方向集取相同的名字。 | 国内领先的通信技术论坛6X){2Y5n/t9k5l3、定义传送队列:afpdef -d 10 mrrtrq ossmrrbsc/BC$R6F9n5T+E3n"~$a!s3q//第一个参数是保存时间,发送后10 minutes,系统将该统计
文件从其原始生成目录删除。第二个参数是传送队列的名字,第三个参数是传送目的或目的集。氏弯源//定义了名字为mrrtrq的transfer queue后,在目录OSS服务器目录路径中将出现闹核一个文件夹mrrtrq,该文件夹中将能够取到MRRFIL文件。4、定义待传送文件:'?7l q-O2u8R ?
一圆颂启个mr程序中的maptask的个数是文件的大小、文件橘如的个数、splitsize的大小决定的。1、文件的大小。当块为128m时,如果输入文件为128m,会被划分为1个split;当块为256m,会被划分为2个split。
2、文件的个数。FileInputFormat按照文件分割split,并且只会分割大文件,即那些大小超过HDFS块的大小的文件。如果HDFS中dfs.block.size设置为128m,而输入的目录中樱搜文件有100个,则划分后的split个数至少为100个。
3、splitsize的大小。分片是按照splitszie的大小进行分割的,一个split的大小在没有设置的情况下,默认等于hdfs block的大小。
mr程序只有运行,并没有安装这个说枝清法。通常运行mr程序猛消前有两种,一是在Eclipse下run on hadoop,二是在Eclipse编写程序并且导出jar包,然后再命令行界面用hadoop命桥誉令运行jar包。
评论列表(0条)