spark on k8s

GoogleCloudPlatform/spark-on-k8s

2019-01-09  本文已影响0人  morphtin

官方github地址

Design and Architecture

Quick Start Guide

如何安装helm


问题1:helm install incubator/sparkoperator --namespace spark-operator  访问不了google

gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest 镜像imagepullbackoff下载失败解决方案

1.注册阿里云进入控制台 搜索容器镜像服务

2.在容器服务中创建命名空间 创建镜像仓库

3.github 创建仓库只包含一个Dockerfile

    内容为: FROM gcr.io/spark-operator/spark-operator:v2.4.0-v1alpha1-latest

4. 绑定github账号选择对应仓库并选择海外机器构建

创建镜像仓库

5. 创建后点击管理  然后点构建  添加规则 

添加规则

6. 添加后点立即构建 可查看构建日志

7. 构建成功在基本信息中 docker pull 构建的镜像

8. docker tag old new即可

helm list 查看releasename

helm status releasename 查看状态


问题2: 运行spark-pi示例

Failed to run spark-pi example following the guide

关于创建serviceAccount:

1.通过apply yaml文件

2. kubectl create serviceaccount spark

kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default

关于examples/spark-pi.yaml 

查看该yaml文件,k8s各节点docker images须有运行所需的 gcr.io/spark-operator/spark:v2.4.0 镜像  另外imagepullpolicy改为IfNotPresent 

同时注意serviceAccount: spark



上一篇下一篇

猜你喜欢

热点阅读