platomix-tool/platomix-docker/doc/deploy_bigdata.md

ETL项目依赖的大数据环境部署

1.上传以上4个包到服务器 /data/software

mkdir /data/software

先拿到3个大数据的压缩包，以及一个jdk1.8安装包。

• flink-1.15.4-20240611.zip
• datax3_20230922.tar.gz
• jdk-8u251-linux-x64.tar.gz //只要jdk1.8版本就行，细化版本没啥要求

2.准备一些有用的目录

//datax_data - datax的配置文件
//upload - 通过sftp上传的excel文件

mkdir -p /data/module/bigdata/{datax_data,upload}

//把flink、datax3解压到目录：/data/module/bigdata

# unzip -d /data/module/bigdata flink-1.15.4-20240611.zip

# tar -zxf datax3_20230922.tar.gz -C /data/module/bigdata

//把jdk解压到/usr/local目录 # tar -zxf jdk-8u251-linux-x64.tar.gz -C /usr/local

3.修改datax的py文件添加执行权限

# chmod a+x /data/module/bigdata/datax/bin/*.py

4.配置jdk的JAVA_HOME环境变量

修改/etc/profile，最后source /etc/profile

5.启动flink

# /data/module/bigdata/flink-1.15.4/bin/start-cluster.sh

//查看是否正常启动 # jps

6.注意事项

注意1：确保该服务器的8081端口开放；
注意2：确保该服务器能访问到ETL项目使用到的redis（ETL项目的配置platomix.preview-redis保证让flink能访问到）。