关于用java写程序把本地文件上传到HDFS中的问题

关于用java写程序把本地文件上传到HDFS中的问题,第1张

将这FileSystem hdfs = FileSystem.get(config)

改成FileSystem hdfs = FileSystem.get(URI.create("hdfs://master:9000"),config)

上面那句取得的是本地文件系统对象,改成下面这个才是取得hdfs文件系统对象,当你要 *** 作本地文件对象的时候就要用上面那句取得本地文件对象,我在2.7.4刚开始也是跟你一样的错误,改为下面的就可以了

怎样将文件发送到hadoop hdfs系统

代码如下:

import .apache.hadoop.conf.Configuration

import .apache.hadoop.fs.*

import java.io.File

import java.io.IOException

public class HadoopFile {

private Configuration conf =null

public HadoopFile(){

conf =new Configuration()

conf.addResource(new Path("/hadoop/etc/hadoop/core-site.xml"))

}

怎样将word 文件发送到 iphone

在iphone上下载ios版的wps,然后电脑上使用wps登录id上传wps就可以了

怎样将U盘文件发送到F盘

直接右键复制,然后到F盘下,右键粘贴!

w10系统怎样把文件发送到优盘上

win10系统用u盘重装个win7系统步骤如下:准备工具:

1、uefi版老毛桃U盘启动盘

2、win7系统镜像文件

具体步骤:

一、制作uefi版U盘启动盘步骤:

1、将u盘插入电脑USB接口,接着运行老毛桃u盘启动盘制作工具。打开工具主窗口后,可以在窗口左侧看到三种模式,在这里选择“iso模式”,然后点击“生成ISO镜像文件”,如下图所示

2、Iso镜像制作完成后,点击“确定”按钮,如下图所示:

3、返回主窗口,继续点击下方的“制作ISO启动u盘”按钮,如下图所示:

4、随后会d出写入硬盘映像窗口,只需在隐藏启动分区下拉菜单中选择“无”,然后点击“写入”即可,如下图所示:

5、接着会d出窗口提示u盘中的所有数据都将丢失,确认已经将重要数据做好备份后,点击“是”执行 *** 作,如下图所示:

6、接下来只需耐心等待写入硬盘映像 *** 作完成即可,如下图所示:

7、制作成功后,会d出一个窗口询问是否启动电脑模拟器测试u盘,点击“是”,如下图所示:

8、接着模拟启动器便会进入老毛桃主菜单页面,需要提醒大家的是,在电脑模拟器所所模拟出来的测试环境中请不要测试相应pe系统等其他功能。成功打开老毛桃主菜单页面后,按下键盘上的“Ctrl+Alt”组合键释放鼠标,然后点击右上角的关闭窗口按钮即可,如下图所示:

二、重装win7步骤:

1、将老毛桃uefi版U盘插入到电脑USB接口中,启动电脑,按F12进去选择引导设备界面,选择UEFI开头的U盘名称,回车确定即可,如图所示:

2、随后会自动进入老毛桃主菜单界面,如图所示:

3、在主菜单界面用键盘方向键“↓”将光标移至“【02】运行老毛桃Win8PE防蓝屏版(新电脑)”,回车确定,如图所示:

4、在老毛桃pe一键装机工具窗口,点击“浏览”将系统镜像添加进来,在磁盘列表中点击选择c盘,点击“确定”即可,如图所示:

5、在提示框中点击“确定”,随后就可以看到还原进程了,如图所示:

6、待还原进程结束后,系统自动安装,耐心等待即可,如图所示:

7、等待系统安装程序结束,电脑进入系统,就可以使用了。

怎样将powerpoint文件发送到QQ邮箱里

添加附件就可以的了

怎样将本地文件发送到网上

不知道你是要干什么,如果你想往某个网站上传东西,它应该有自的上传页面,你只要按人家给的步骤上传。如果是网自动的服务器传的话有专门的ftp上传工具。比如flashFXP。

笃渊信息科技

怎样将Word文件发送到网络上浏览

进入百度文库,登陆我的文库,或从个人中心登陆也可。点“上传我的文档”,通过后即可在线浏览了。

怎样将BT种子文件发送到邮箱

在下载中 右键点下载的文件 有保存种子的选项 保存好以后 就可以用邮件附件发送了 别忘了发送以前要把种子文件弄成压缩文件啊

怎么将文件发送到C:\WINDOWS\Cursors

你直接下带有安装系统的,找找。

在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面,上传到服务器,然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce,那么这个方法真是又土又麻烦。

其实YARN是可以通过Java程序向Hadoop集群提交MapReduce任务的。与普通的任务不同的是,远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml,所以在Job的Configuration里面需要添加一些设置,然后再提交就可以了。

贴上一个示例代码,大家一看就明白了:

[java] view plain copy

public class RemoteMapReduceService {

public static String startJob() throws Exception {

Job job = Job.getInstance()

job.setJobName("xxxx")

/***************************

*......

*在这里,和普通的MapReduce一样,设置各种需要的东西

*......

***************************/

//下面为了远程提交添加设置:

Configuration conf = job.getConfiguration()

conf.set("mapreduce.framework.name", "yarn")

conf.set("hbase.zookeeper.quorum", "MASTER:2181")

conf.set("fs.default.name", "hdfs://MASTER:8020")

conf.set("yarn.resourcemanager.resource-tracker.address", "MASTER:8031")

conf.set("yarn.resourcemanager.address", "MASTER:8032")

conf.set("yarn.resourcemanager.scheduler.address", "MASTER:8030")

conf.set("yarn.resourcemanager.admin.address", "MASTER:8033")

conf.set("yarn.application.classpath", "$HADOOP_CONF_DIR,"

+"$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,"

+"$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,"

+"$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,"

+"$YARN_HOME/*,$YARN_HOME/lib/*,"

+"$HBASE_HOME/*,$HBASE_HOME/lib/*,$HBASE_HOME/conf/*")

conf.set("mapreduce.jobhistory.address", "MASTER:10020")

conf.set("mapreduce.jobhistory.webapp.address", "MASTER:19888")

conf.set("mapred.child.java.opts", "-Xmx1024m")

job.submit()

//提交以后,可以拿到JobID。根据这个JobID可以打开网页查看执行进度。

return job.getJobID().toString()

}

}


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/tougao/12039669.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-20
下一篇 2023-05-20

发表评论

登录后才能评论

评论列表(0条)

保存