【DataX】datax | datax-web | win搭建datax-web环境

阿里云国内75折回扣微信号：monov8

阿里云国际，腾讯云国际，低至75折。AWS 93折免费开户实名账号代冲值优惠多多微信号：monov8 飞机：@monov6

一、环境准备

1、jdk8

2、maven

3、mysql7

4、python3

5、window10

6、idea

7、2345解压win支持tar.gz解压

8、git

二、操作步骤

1、datax操作步骤

1下载datax
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2其他版本github
https://github.com/alibaba/DataX
3解压

4下载python3的datax.py
https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
5替换掉datax\bin\*.py

6删除以下目录下的多余文件
datax\bin\
datax\plugin\reader\
datax\plugin\writer
~~

2、datax-web操作步骤

1克隆源码
https://github.com/WeiYe-Jing/datax-web.git
2创建数据库datax_web

3导入SQL
datax-web\bin\db\datax_web.sql
4修改datax-admin配置

a> application.yml修改端口即可

b> bootstrap.properties数据库配置

c> 运行DataXAdminApplication即可

运行报错
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
说明忽略即可

5修改datax-executor

6启动DataXExecutorApplication

~~

3、使用

1访问web
http://127.0.0.1:8001/index.html#/login?redirect=%2Fdashboard
2默认账号
admin
123456
3了解页面

~~

4、docker部署待验证

1拉取镜像
docker pull linshellfeng/datax_web:3.0.1
说明 3.0.1已经包含了datax直接配置数据库使用即可

2创建宿主机目录
mkdir -p /data/datax/datax-admin/conf
3创建并配置yml数据库连接
vi /data/datax/datax-admin/conf/bootstrap.properties
4docker启动
docker run -d --name datax_web -p 9527:9527 -v /data/datax/datax-admin/conf/bootstrap.properties:/home/datax/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties linshellfeng/datax_web:3.0.1
~~