海豚调度的安装和使用
生活随笔
收集整理的這篇文章主要介紹了
海豚调度的安装和使用
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
文章目錄
- 1、上傳解壓
- 2、修改配置文件
- 2.1、修改mysql鏈接配置
- 2.2、修改安裝配置
- 2.3、修改環境變量
- 3、初始化數據庫
- 4、一鍵部署
- 5、訪問dolphinscheduler
- 6、簡單使用dolphinscheduler
1、上傳解壓
壓縮包可自行去官網下載
tar -zxvf DolphinScheduler-bin.tar.gz
2、修改配置文件
cd conf2.1、修改mysql鏈接配置
vim datasource.properties
#修改一下配置 spring.datasource.driver-class-name=com.mysql.jdbc.Driver spring.datasource.url=jdbc:mysql://node1:3306/dolphinscheduler?characterEncoding=UTF-8&allowMultiQueries=true spring.datasource.username=root spring.datasource.password=1234562.2、修改安裝配置
vim config/install_config.conf
#mysql地址 dbhost="node1:3306" #mysql用戶名 username="root" #數據庫名 dbname="dolphinscheduler" #mysql密碼 password="123456" #zookeeper鏈接地址 zkQuorum="master:2181" #dolphinscheduler安裝路徑 installPath="/usr/local/soft/dolphinscheduler" #安裝用戶 deployUser="root" #配置郵箱服務器,需要開啟郵箱smtp服務 mailServerHost="smtp.163.com" #端口號 mailServerPort="25" #郵箱地址 mailSender="你的郵箱地址" #用戶名和郵箱地址一致 mailUser=" 你的郵箱地址" #郵箱密碼 mailPassword="你的郵箱密碼" starttlsEnable="false" #hdfs訪問地址 defaultFS="hdfs://master:9000" #dolphinscheduler上傳到hdfs路徑 resourceUploadPath="/dolphinscheduler" #上傳文件使用的用戶名 hdfsRootUser="root"2.3、修改環境變量
vim env/dolphinscheduler_env.sh
注意:如果使用的時候需要用到datax采集工具,需要該配置文件中配置datax的環境
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171 export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export SPARK_HOME2=/usr/local/soft/spark-2.4.5export PATH=$HADOOP_HOME/bin:$SPARK_HOME2/bin:$PYTHON_HOME:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH:$FLINK_HOME/bin:$DATAX_HOME:$PATH3、初始化數據庫
進入mysql創建dolphinscheduler數據庫
mysql -uroot -p123456
CREATE DATABASE dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;執行腳本創建表
cd /usr/local/soft/DolphinScheduler-bin/script
sh create-dolphinscheduler.sh啟動zk
zkServer.sh start4、一鍵部署
sh install.sh注意:安裝好之后可以到/usr/local/soft/dolphinscheduler/log查看日志
5、訪問dolphinscheduler
登錄:
用戶名:admin , 密碼:dolphinscheduler123
訪問web界面:
http://master:12345/dolphinscheduler
6、簡單使用dolphinscheduler
1、創建root租戶–用于執行腳本的用戶(權限)
2、將租戶賦權給admin用戶
3、創建項目
4、創建流程
總結
以上是生活随笔為你收集整理的海豚调度的安装和使用的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: java 下载文件的文件名乱码_JAVA
- 下一篇: 第5章 数据库设计