MPP数据库之Doris（5）：Doris安装部署之Broker部署

MPP数据库之Doris（5）：Doris安装部署之Broker部署

目录

0. 相关文章链接

1. 安装包准备和上传

2. FS_Broker 部署

3. 注意

---

0. 相关文章链接

大数据基础知识点 文章汇总

1. 安装包准备和上传

上传doris已经编译的安装包，关于doris编译参考 MPP数据库之Doris（2）：Doris之Broker编译 博文，在 doris 0.15版本 中的 apache_hdfs_broker 插件 中有已经编译好的安装包，可以自行下载。

安装地址为：/opt/module/doris

2. FS_Broker 部署

Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS 、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上。建议和 BE 或者 FE 目录保持同级。

修改相应 Broker 配置

在相应 broker/conf/ 目录下对应的配置文件中，可以修改相应配置。

启动 Broker

sh bin/start_broker.sh --daemon

添加 Broker

要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节点列表。

使用 mysql-client 连接启动的 FE，执行以下命令：

ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;

其中 host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port。

查看 Broker 状态

使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：

SHOW PROC "/brokers";

在命令行中使用MySQL客户端加入并查看： 

[root@bigdata1 apache_hdfs_broker]# mysql -hbigdata1 -P9030 -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or g.
Your MySQL connection id is 1
Server version: 5.1.0 Doris version 0.15.0-rc04-Unknown

Copyright (c) 2000, 2021, Oracle and/or its affiliates.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or 'h' for help. Type 'c' to clear the current input statement.

mysql> ALTER SYSTEM ADD BROKER broker_name "bigdata1:8000","bigdata2:8000","bigdata3:8000";
Query OK, 0 rows affected (0.03 sec)

mysql> SHOW PROC "/brokers";
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
| Name        | IP             | HostName | Port | Alive | LastStartTime       | LastUpdateTime      | ErrMsg |
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
| broker_name | 192.168.12.131 | bigdata1 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
| broker_name | 192.168.12.132 | bigdata2 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
| broker_name | 192.168.12.133 | bigdata3 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
3 rows in set (0.00 sec)

在web页面查看：

3. 注意

        在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor (opens new window)。如需使用守护进程启动，在 0.9.0 及之前版本中，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号。从 0.10.0 版本开始，直接调用 sh start_xx.sh 启动即可。

---

注：Doris系列博文为通过对Doris官网学习记录所写，其中有加入个人理解，如有不足，请各位读者谅解☺☺☺

注：其他相关文章链接由此进 -> 大数据基础知识点 文章汇总

---