# ETL项目依赖的大数据环境部署

## 1.上传以上4个包到服务器 /data/software
`mkdir /data/software`

先拿到3个大数据的压缩包，以及一个jdk1.8安装包。
* flink-1.15.4-20240611.zip
* datax3_20230922.tar.gz
* jdk-8u251-linux-x64.tar.gz   //只要jdk1.8版本就行，细化版本没啥要求

## 2.准备一些有用的目录
//datax_data - datax的配置文件  
//upload     - 通过sftp上传的excel文件

`mkdir -p /data/module/bigdata/{datax_data,upload}`

//把flink、datax3解压到目录：/data/module/bigdata

`# unzip -d /data/module/bigdata flink-1.15.4-20240611.zip`

`# tar -zxf datax3_20230922.tar.gz -C /data/module/bigdata`

//把jdk解压到/usr/local目录
`# tar -zxf jdk-8u251-linux-x64.tar.gz -C /usr/local`

## 3.修改datax的py文件添加执行权限

`# chmod a+x /data/module/bigdata/datax/bin/*.py`

## 4.配置jdk的JAVA_HOME环境变量
修改/etc/profile，最后`source /etc/profile`

## 5.启动flink
`# /data/module/bigdata/flink-1.15.4/bin/start-cluster.sh`

//查看是否正常启动
`# jps`

## 6.注意事项
注意1：确保该服务器的8081端口开放；  
注意2：确保该服务器能访问到ETL项目使用到的redis（ETL项目的配置platomix.preview-redis保证让flink能访问到）。