【大数据】Linkis如何安装部署，及一些常见问题

【大数据】Linkis如何安装部署，及一些常见问题

linkis ，一个在上层应用程序和底层引擎之间的计算中间件。通过使用linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。用于解决前台各种工具、应用，和后台各种计算存储引擎间的连接、访问和复用问题。

一、基础软件安装 软件版本是否必装JDK1.8.0_141以上必须安装MySQL5.5+必须安装Python2.x和3.x都支持必须安装Hadoop社区版和CDH3.0以下版本都支持根据需要Hive1.2.1，2.0和2.0以上版本，可能存在兼容性问题根据需要Sparklinkis release0.7.0开始，支持Spark2.0以上所有版本根据需要 二、linkis环境准备

例如：部署用户是linkis

1、在部署机器上创建部署用户

sudo useradd linkis

2、为部署用户添加sudo权限，且免密

vim /etc/sudoers
linkis  ALL=(ALL)       NOPASSWD: NOPASSWD: ALL

3、设置如下的全局环境变量，以便linkis能正常使用Hadoop、Hive和Spark

以部署用户是linkis为例

vim /home/linkis/.bashrc

#JDK
export JAVA_HOME=/nemo/jdk1.8.0_141
##如果不使用Hive、Spark等引擎且不依赖Hadoop，则不需要修改以下环境变量
#HADOOP  
export HADOOP_HOME=/appcom/Install/hadoop
export HADOOP_CONF_DIR=/appcom/config/hadoop-config
#Hive
export HIVE_HOME=/appcom/Install/hive
export HIVE_CONF_DIR=/appcom/config/hive-config
#Spark
export SPARK_HOME=/appcom/Install/spark
export SPARK_CONF_DIR=/appcom/config/spark-config/
export PYSPARK_ALLOW_INSECURE_GATEWAY=1  # Pyspark必须加的参数

4、下载linkis安装包

下载地址：https://github.com/apache/incubator-linkis/releases

5、解压安装包到安装目录

tar -xvf  wedatasphere-linkis-x.x.x-combined-package-dist.tar.gz

解压后切到linkis的目录下，进行修改配置

6、修改基础配置（依赖HDFS/Hive/Spark）

vim config/linkis-env.sh

    SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置
    deployUser=linkis      #指定部署用户
    WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
    RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件
    ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录
    ENTRANCE_CONFIG_LOG_PATH=hdfs:///tmp/linkis/  #ENTRANCE的日志路径

    #因为1.0支持多Yarn集群，使用到Yarn队列资源的一定需要配置YARN_RESTFUL_URL
    YARN_RESTFUL_URL=http://127.0.0.1:8088  #Yarn的ResourceManager的地址

    # 如果您想配合scriptis一起使用，CDH版的Hive，还需要配置如下参数（社区版Hive可忽略该配置）
    HIVE_meta_URL=jdbc://...   # Hivemeta元数据库的URL
    HIVE_meta_USER=   # Hivemeta元数据库的用户
    HIVE_meta_PASSWORD=    # Hivemeta元数据库的密码
    
    # 配置hadoop/hive/spark的配置目录 
    HADOOP_CONF_DIR=/appcom/config/hadoop-config  #hadoop的conf目录
    HIVE_CONF_DIR=/appcom/config/hive-config   #hive的conf目录
    SPARK_CONF_DIR=/appcom/config/spark-config #spark的conf目录

    ## LDAP配置，默认linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
    #LDAP_URL=ldap://localhost:1389/ 
    #LDAP_baseDN=dc=webank,dc=com
    
    ##如果spark不是2.4.3的版本需要修改参数：
    #SPARK_VERSION=3.1.1

    ##如果hive不是1.2.1的版本需要修改参数：
    #HIVE_VERSION=2.3.3

注意：在配置中有些是file:///、hdfs:///开头的，这些是必须的，我们只修改后边的路径即可

假如你不依赖HDFS/Hive/Spark
可按照如下配置

    #SSH_PORT=22        #指定SSH端口，如果单机版本安装可以不配置
    deployUser=hadoop      #指定部署用户
    linkIS_INSTALL_HOME=/appcom/Install/linkis    # 指定安装目录
    WORKSPACE_USER_ROOT_PATH=file:///tmp/hadoop    # 指定用户根目录，一般用于存储用户的脚本文件和日志文件等，是用户的工作空间。
    RESULT_SET_ROOT_PATH=file:///tmp/linkis   # 结果集文件路径，用于存储Job的结果集文件
    ENGINECONN_ROOT_PATH=/appcom/tmp #存放ECP的安装路径，需要部署用户有写权限的本地目录
    ENTRANCE_CONFIG_LOG_PATH=file:///tmp/linkis/  #ENTRANCE的日志路径
    ## LDAP配置，默认linkis只支持部署用户登录，如果需要支持多用户登录可以使用LDAP，需要配置以下参数：
    #LDAP_URL=ldap://localhost:1389/ 
    #LDAP_baseDN=dc=webank,dc=com

7、修改数据库配置

vim config/db.sh

    # 设置数据库的连接信息
    # 包括IP地址、数据库名称、用户名、端口
    # 主要用于存储用户的自定义变量、配置参数、UDF和小函数，以及提供JobHistory的底层存储
    MYSQL_HOST=
    MYSQL_PORT=
    MYSQL_DB=
    MYSQL_USER=
    MYSQL_PASSWORD=

三、安装与启动 8、执行安装脚本

sh bin/install.sh

第一次安装的是否会询问您是否需要初始化数据库并导入元数据，选择是，这样会把数据库中的用户数据清空
通过查看控制台打印的日志信息查看是否安装成功。

9、启动linkis

sh sbin/linkis-start-all.sh

可以在Eureka界面查看服务启动成功情况，查看方法：

使用http://${EUREKA_INSTALL_IP}:${EUREKA_PORT}, 在浏览器中打开，查看服务是否注册成功。

四、安装过程中常见的问题 1、need ‘mysql’ (your linux command not found)

出现这个问题呢，一个可能是你没有安装mysql，一个是可能linkis用户没有访问mysql的权限，只要你能在你的安装用户下（我这里是linkis用户）能访问mysql就可以了

2、need ‘dos2unix’ (your linux command not found)

出现这个问题呢，是缺少dos2unix，安装即可

sudo yum -y install dos2unix

3、Failed to + create hdfs:///data/linkis directory

这个呢，是因为不能访问hdfs的原因，一个可能是没安装，安装即可，另一个可能是安装了，但可能是别的用户下安装的，你没有权限访问，开通访问权限即可，及在你部署的用户（我的是linkis用户）下可以使用hdfs命令，那就可以了。
一般可能处理的方式是export hdfs的安装路径，是hdfs的安装路径的访问权限。

尽管按着安装步骤可能依然会遇到各种各样的问题，毕竟每个人的安装环境安装方式可能不一样，不过就我安装所遇到的问题，大多都是因为在安装用户下，不能访问别的用户安装的软件的问题，大家遇到问题也可以朝这个方向思考,大多按着给出的提示处理就好

以上，就是linkis的安装部署步骤，及一些常见问题
感谢您的阅读~