dolphinscheduler2.02搭建+hadoop结合

dolphinscheduler2.02搭建+hadoop结合

dolphinscheduler官网只是给出了搭建方式 具体使用中需要和hdfs结合的话需要配置更多参数

如果配置了数据目录不会自动创建，记得自己手动创建一下

例子

data.basedir.path=/data/dsdata

搭建完成之后的配置存放在 conf下的 common.properties 中 初步搭建完成之后可以修改这里的配置来进行调整

跟hadoop有关需要调整的配置有下面几个

不配置kerberos的话只需要这几个

# resource storage type: HDFS, S3, NONE
resource.storage.type=HDFS  

fs.defaultFS=hdfs://nameservice1 #ha模式下不仅需要配置ha的地址，同时需要把core-site.xml和hdfs-site.xml放到conf目录下
cd到你部署ds的conf目录下
ln -s /etc/hadoop/conf/core-site.xml  .
ln -s /etc/hadoop/conf/hdfs-site.xml  .

然后移动到

conf下的env 修改dolphinscheduler_env.sh

修改默认的配置

export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-yarn
export Flink_HOME=/data/flink-1.12.1
export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive
export ZOOKEEPER_HOME=/opt/cloudera/parcels/CDH/lib/zookeeper
export Hbase_HOME=/opt/cloudera/parcels/CDH/lib/hbase
export SPARK_HOME=/opt/cloudera/parcels/CDH/lib/spark
export JAVA_HOME=/usr/local/jdk
export DATAX_HOME=/data/datax
export KAFKA_HOME=/opt/cloudera/parcels/CDH/lib/kafka
export SOLR_HOME=/opt/cloudera/parcels/CDH/lib/solr
export IMPALA_HOME=/opt/cloudera/parcels/CDH/lib/impala
export HADOOP_COMMON_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export HADOOP_HDFS_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-hdfs
export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
export PATH=$HADOOP_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$Flink_HOME/bin:$DATAX_HOME/bin:
$PATH

按照你的环境进行更改  注意最下面的SPARK1改成删掉1，改成SPARK 

我是基于cdh的 如果你也是cdh 那应该只需要修改datax flink 其他都可以复制我的

配置完成之后  回到最上级目录

sh ./bin/stop-all.sh

sh ./bin/start-all.sh

打开web ui 

资源中心---文件管理---随便创建一个文件夹 成功了就是配置完成 失败 需要去master的logs里查

dolphinscheduler-api.log

这个日志 排查问题