hadoop问题小结

hadoop问题小结

20211231

下载文件到本地
11：get
使用方法：hadoop fs -get [-ignorecrc] [-crc]   
复制文件到本地文件系统。可用-ignorecrc选项复制CRC校验失败的文件。使用-crc选项复制文件以及CRC信息。
示例：
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
返回值：
成功返回0，失败返回-1。

What does "moveToLocal: Option '-moveToLocal' is not implemented yet." means?

hadoop2.7中这个命令还不可用

20211230

https://www.cnblogs.com/pengpp/p/9833349.html
python调用执行shell命令最简单

https://www.cnblogs.com/yang520ming/p/12886660.html
http://blog.sina.com.cn/s/blog_46dcac190102uxqr.html

filexistchk = "hadoop dfs -test -e " + hdfs_path + ";echo $?"
    filexistchk_output = subprocess.Popen(filexistchk, shell=True, stdout=subprocess.PIPE).communicate()
    
    if '1' not in str(filexistchk_output[0]): # 0是存在
        return 1  # 存在
    else:
        return 0
##################
hadoop fs -test -e /path/exist
if [ $? -eq 0 ] ;then 
    echo 'exist' 
else 
    echo 'Error! path is not exist' 
fi 

判断hdfs文件是否存在 前面两个连接好像不起作用
https://blog.csdn.net/ahilll/article/details/83377387
python删除hdfs文件

hdfs://k8s04:9001/output/41_客户类型_关联规则.csv ;’

是在hdfs-site.xml里面配置

  
      dfs.namenode.secondary.http-address
      k8s04:9001
  

hdfs对应的物理路径在这里

spark的输入和输出都基于hadoop的hdfs上面hdfs不别 "."的当前目录 直接从根目录开始
/data

https://www.cnblogs.com/yifeiyu/p/11044290.html
https://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html
hadoop命令

https://blog.csdn.net/beishanyingluo/article/details/102556752
https://www.cnblogs.com/biehongli/p/7463180.html
HDFS常用命令（总结） 重点
1.查看hdfs下根目录下的文件

hdfs dfs -ls /

6.hdfs文件移动到本地：

hdfs dfs -moveToLocal /test/test123/hellow.txt /opt/hadoop/servers/

8.将本地文件放到hdfs某个目录：

hdfs dfs -put /opt/hadoop/servers/test/ /tmp/

https://blog.csdn.net/stars_tian/article/details/78744500
Hadoop五个进程的作用和联系

https://jingyan.baidu.com/article/86fae34614a1c53c49121a3a.html
执行 ./start-all.sh 可以启动hadoop了
在使用完毕后执行./stop-all.sh即可关闭Hadoop。

20211229

path does not exist hdfs://k8s04:9001/usr/root/xxx.csv
现在hdfs上新建 /data文件夹
hdfs dfs -mkdir /data
然后上传本地文件到hdfs
hdfs dfs -put /home/guanlian_algo_/confirm/i2/tb_order_user_sec_type_group.csv /data

hadoop控制台
http://192.168.1.122:50070/explorer.html#/data
2.7版本
http://192.168.1.122:8088/cluster/scheduler