type
status
date
summary
slug
tags
category
password
icon
部署 dolphinscheduler 3.1.4
部署 dolphinscheduler 进行大数据调度,以三台主机的集群为例。
一、集群规划
主机 | 角色 |
cdh01 | master、worker |
cdh02 | worker |
cdh03 | worker |
二、环境准备工作
- 三台节点均需部署 JDK(1.8+),并配置相关环境变量
- 需部署数据库,支持MySQL(5.7+)或者PostgreSQL(8.2.15+)
- 使用 MySQL 需要驱动包 mysql-connector-java.jar 的版本(8.0.16+),同时所有主机的 libs 目录里都存在
- 需部署Zookeeper
(3.4.6+)Dolphinscheduler 3.1.X 支持的zk版本为3.8.0,CDH6 升级 ZK 到 3.8.0,实测CM会有一些报错问题,建议 CDH6 选择 Dolphinscheduler 2版本 CDH 6.3.2 版本默认安装的 Apache ZooKeeper为3.4.5,使用Apache DolphinScheduler,依照DS文档说明,需要zookeeper
的版本为3.4.6+实测CDH 6.3.2 的ZK 3.4.5版本也可正常使用
- 三台节点均需安装进程管理工具包psmisc。如下三台节点都需要安装
三、初始化数据库
(1) 准备
- DolphinScheduler元数据存储在关系型数据库中,故需创建相应的数据库和用户
- 以mysql为例
- 注:为避免因设置密码过于简单而报错,可以降低密码的强度级别
- 未进行上述密码设置,可能会报错:
(2) 开始初始化
- 创建dolphinscheduler数据库
mysql> CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
- 创建dolphinscheduler用户
mysql> CREATE USER 'dolphinscheduler'@'%' IDENTIFIED BY 'dolphinscheduler';
- 授予dolphinscheduler用户dolphinscheduler库的全部权限
mysql> GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'dolphinscheduler'@'%'; --不能改成小写
- 最后记得刷新下数据库
mysql> flush privileges;
四、进行部署
(1) 下载解压
① 下载
② 解压
(2) 修改配置文件
总共需要修改如下三种配置文件:
- /opt/mod/dolphinscheduler3/bin/env/install_env.sh
- /opt/mod/dolphinscheduler3/bin/env/dolphinscheduler_env.sh
- 如下四个文件的common.properties配置,四个文件配置均一致
- /opt/mod/dolphinscheduler3/tools/conf/common.properties
- /opt/mod/dolphinscheduler3/api-server/conf/common.properties
- /opt/mod/dolphinscheduler3/alert-server/conf/common.properties
- /opt/mod/dolphinscheduler3/master-server/conf/common.properties
- worker-server下的common.properties不用配置,因为启动时,worker-server会读取tools下的common.properties配置
① install_env.sh
修改如下配置:
② dolphinscheduler_env.sh
③ common.properties
先配置tool目录下文件
配置完后,也要对如下文件,配置相同参数
(3) 放置 MySQL Connector jar 包
官网说明一定要8.0.16版本及以上,5.x版本实测失败
- 所有服务主机的libs里面都要存
- 需要将下载的 jar 包重命名为 mysql-connector-java.jar
(4) 初始化及启动
① 初始化数据库
② 安装启动
- 默认的用户名和密码
- admin
- dolphinscheduler123
③ 时区问题
启动后,在界面的右上角能改时间
或者打开配置文件
增加修改:
重启服务
- 作者:PH3C
- 链接:https://notion.966699.xyz//article/CDH-DS-3.1.3
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章