K8S 部署 spark
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
本文使用 bitnami 镜像部署 spark
官方文档https://github.com/bitnami/charts/tree/main/bitnami/spark
添加 bitnami 仓库
helm repo add bitnami https://charts.bitnami.com/bitnami
自定义 values.yaml
- storageClass集群的存储类可以参考文章 k8s 安装本地 storageClass 或者
K8S 集群使用 NFS 做 storageclass - 开启 ingress 映射
- ingressClassName配置 ingressClass可以参考文章 k8s 配置 ingress 或者 k8s 配置 ingress
- 配置主从 ui 路由代理告诉 Spark 反向代理 worker 和应用程序UI以启用访问而无需直接访问其主机
global:
storageClass: "nfs-client"
ingress:
enabled: true
ingressClassName: "nginx"
hostname: "spark.saas.api.com"
master:
configOptions:
-Dspark.ui.reverseProxy=true
-Dspark.ui.reverseProxyUrl=http://spark.saas.api.com
worker:
configOptions:
-Dspark.ui.reverseProxy=true
-Dspark.ui.reverseProxyUrl=http://spark.saas.api.com
开始部署例子是部署在名叫 spark 的命名空间里
helm install spark bitnami/spark -f values.yaml -n spark
部署需要等待一段时间因为镜像比较大有 1.67G
部署成功的示例图
Rancher 上可以看到 2 个 StatefulSets一个是 master、一个是 worker
pod 有 3 个master 有一个 podworker 有两个 pod
如果需要新增副本可以配置 worker.replicaCount默认是 2
成功访问