1相比于 Kylin 3.xKylin 4.0 实现了全新 spark 构建引擎和 parquet 存储使 kylin 不依赖 hadoop 环境部署成为可能。无Hadoop环境也降低了运维成本减少了系统资源占用。

以下操作基于centos7.6 单机版本

部署版本信息如下

• JDK 1.8
• Hive 2.3.9
• Zookeeper 3.4.13
• Kylin 4.0.3 for spark3
• Spark 3.1.1
• Hadoop 3.2.0（不需要启动

 如有需要可以上传。

1.前期准备

1.1关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service

1.2关闭SELinux

vi /etc/selinux/config

• 将SELINUX=enforcing指令更改为SELINUX=disabled

1.3修改文件句柄数和用户最大进程数

1.3.1

vim /etc/systemd/system.conf

查找并修改下列两行的值或直接添加
 

DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000

1.3.2 

vim /etc/security/limits.conf

在文件中末尾添加
星号为任意用户 或者*替换为root 为指定root用户

*            soft    fsize           unlimited
*            hard    fsize           unlimited
*            soft    cpu             unlimited
*            hard    cpu             unlimited
*            soft    as              unlimited
*            hard    as              unlimited
*            soft    nofile          1024000
*            hard    nofile          1024000
*            soft    nproc           1024000
*            hard    nproc           1024000

1.3.3 

vim /etc/security/limits.d/20-nproc.conf

*          soft    nproc     1024000
root       soft    nproc     unlimited

2.JDK8安装

mkdir -p /usr/local/java/
cp /opt/install_bin/jdk-8u321-linux-x64.tar.gz  /usr/local/java/
cd /usr/local/java/
tar -xzvf ./jdk-8u321-linux-x64.tar.gz

vi /etc/profile

追加以下内容 

export JAVA_HOME=/usr/local/java/jdk1.8.jdk1.8.0_321
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin

 3.Mysql安装

基于docker安装先安装docker

yum install -y docker
systemctl enable docker.service
systemctl start docker

sudo docker run -p 3306:3306 --name mysql \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7