4.k8s集群通过csi对接ceph集群

一·、前言上篇介绍了客户端挂载使用rbd块设备。本文介绍生产上ceph如何通过csi对接k8s集群通过rbd提供k8s的动态存储pv。温馨提示ceph19.2.6版本为了修复安全漏洞秘钥升级了需要7以上的内核。大坑替大家踩过坑了建议生产使用19.2.3以下版本推荐阅读[CVE] [URGENT] Squid v19.2.6 and Tentacle v20.2.4 released - ceph-announce - lists.ceph.io二、环境说明环境K8sv1.23.17Ubuntu22.04docker runtime3 节点CephSquid 19.2.3cephadm 部署目标Ceph RBD CSI 动态供给 PVC官方 ceph-csirbd 驱动三、官网推荐阅读https://docs.ceph.com/en/reef/rbd/rbd-kubernetes/​​四、步骤一、ceph基础环境准备1.ceph创建一个存储池。[rootceph141 ~]# ceph osd pool create ceph-block-pool 128声明[rootceph141 ~]# ceph osd pool ls detail​2,创建csi专用用户单独权限不要用admin[rootceph141 ~]# ceph auth get-or-create client.k8s-csi mon allow r osd allow rwx poolceph-block-pool mgr allow r #19.2.6版本的密钥长度 [client.k8s-csi] key AgA7puFqTA/2ACAAbXYBsZOGD9uzBVxMUl74RNrGrNQLLsfJkbQmScqWow #19.2.3版本的密钥长度 [client.k8s-csi] key AQAiaNqAOxhGxAALKdiiO3/ThJ3W5QpY5Wo8g ​ [rootceph141 ~]#拿到 key后面要放到k8s secret[rootceph141 ~]# ceph auth get-key client.k8s-csi AgA7puFqTA/2ACAAbXYBsZOGD9uzBVxMUl74RNrGrNQLLsfJkbQmScqWow[rootceph141 ~]#获取 ceph fsid集群唯一ID必用[rootceph141 ~]# ceph fsid 0fcfb026-d3ab-11f1-8474-31750d21178a [rootceph141 ~]#二、k8s基础环境准备1.所有的k8s节点都需要安装ceph-common客户端工具rbd依赖。(只安装ceph-common工具不需要拷贝ceph的admin用户的证书)节点上 krbd 内核模块、rbd 命令csi-node 插件需要它做映射 rbd 设备。可以参考我之前博客1.安装cephadm2.安装ceph-common小编有点累了下面的不用代码框了验证所有节点已经安装ceph-common[rootmaster231 ~]# rbd --version ceph version 19.2.7 (9ec952b9f9668e9fa97e29a4c2b51e951674df2a) squid (stable) [rootmaster231 ~]# [rootworker232 ~]# rbd --version ceph version 19.2.7 (9ec952b9f9668e9fa97e29a4c2b51e951674df2a) squid (stable) [rootworker232 ~]# [rootworker233 ~]# rbd --version ceph version 19.2.7 (9ec952b9f9668e9fa97e29a4c2b51e951674df2a) squid (stable) [rootworker233 ~]#2.检查网络连通性k8s的所有节点和ceph的mon6789端口[rootmaster231 ~]# telnet 10.0.0.141 6789 [rootmaster231 ~]# telnet 10.0.0.142 6789 [rootmaster231 ~]# telnet 10.0.0.143 67893.所有k8s节点加载rbd内核模块[rootmaster231 ~]# lsmod | grep rbd [rootmaster231 ~]# modprobe rbd [rootmaster231 ~]# lsmod | grep rbd rbd 114688 0 libceph 454656 1 rbd [rootmaster231 ~]# [rootworker232 ~]# modprobe rbd [rootworker232 ~]# lsmod | grep rbd rbd 114688 0 libceph 454656 1 rbd [rootworker232 ~]# [rootworker233 ~]# lsmod | grep rbd [rootworker233 ~]# modprobe rbd [rootworker233 ~]# modprobe rbd [rootworker233 ~]# lsmod | grep rbd rbd 114688 0 libceph 454656 1 rbd [rootworker233 ~]#三、部署csi一、基础环境的yaml文件部署1.ns.yaml[rootmaster231 ceph-csi]# cat ns.yaml apiVersion: v1 kind: Namespace metadata: name: ceph-csi-rbd ​ [rootmaster231 ceph-csi]#部署验证[rootmaster231 ceph-csi]# kubectl apply -f ns.yaml namespace/ceph-csi-rbd created [rootmaster231 ceph-csi]# kubectl get ns ceph-csi-rbd NAME STATUS AGE ceph-csi-rbd Active 17s ​2.csi-rbd-secret.yaml[rootmaster231 ceph-csi]# cat csi-secret.yaml apiVersion: v1 kind: Secret metadata: name: ceph-rbd-secret namespace: ceph-csi-rbd stringData: userID: k8s-csi userKey: AgA7puFqTA/2ACAAbXYBsZOGD9uzBVxMUl74RNrGrNQLLsfJkbQmScqWow ​ [rootmaster231 ceph-csi]#部署验证[rootmaster231 ceph-csi]# kubectl apply -f csi-secret.yaml secret/ceph-rbd-secret created [rootmaster231 ceph-csi]# kubec3.csi-driver-rbd.yaml[rootmaster231 ceph-csi]# cat csi-driver-rbd.yaml apiVersion: storage.k8s.io/v1 kind: CSIDriver metadata: name: rbd.csi.ceph.com spec: attachRequired: true podInfoOnMount: true fsGroupPolicy: File ​部署验证[rootmaster231 ceph-csi]# kubectl apply -f csi-driver-rbd.yaml csidriver.storage.k8s.io/rbd.csi.ceph.com created [rootmaster231 ceph-csi]#4.storageclass-rbd.yaml[rootmaster231 ceph-csi]# cat storageclass-rbd.yaml apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: ceph-rbd-sc provisioner: rbd.csi.ceph.com parameters: clusterID: 5137c1d2-c390-11f1-a8ef-874362e1ed81 pool: ceph-block-pool imageFeatures: layering csi.storage.k8s.io/provisioner-secret-name: ceph-rbd-secret csi.storage.k8s.io/provisioner-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/node-stage-secret-name: ceph-rbd-secret csi.storage.k8s.io/node-stage-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/controller-expand-secret-name: ceph-rbd-secret csi.storage.k8s.io/controller-expand-secret-namespace: ceph-csi-rbd csi.storage.k8s.io/fstype: ext4 reclaimPolicy: Delete allowVolumeExpansion: true ​⚠️ reclaimPolicy: Delete 测试环境用上线生产改成 Retain防止删 PVC 直接丢数据温馨提示StorageClass 里的reclaimPolicy控制当你在 k8s 里删除 PVC 的时候Ceph 里对应的 RBD 镜像怎么处理reclaimPolicy: Delete删除 PVC → csi 插件自动去 ceph 集群里删除这个 rbd 镜像✅ 适合测试环境删 PVC 就清干净资源不会残留垃圾镜像 ❌ 风险极高一旦误删 PVC数据直接没了无法恢复reclaimPolicy: Retain删除 PVC →不会删除 Ceph 里的 RBD 镜像镜像保留在 ceph-block-pool 里 此时 PV 会变成Released状态不会自动回收 ✅ 生产环境用防止误删 PVC 造成数据丢失 后续如果你确认数据不要了需要手动删除 PV到 ceph 集群手动rbd rm ceph-block-pool/镜像名部署验证[rootmaster231 ceph-csi]# kubectl apply -f storageclass-rbd.yaml storageclass.storage.k8s.io/ceph-rbd-sc created ​二、拉取官方 rbac、controller、node yamlv3.11.0yaml文件1.从github官网获取yaml文件需要的yaml文件为页面里现在的文件名之前的旧名字作用csi-provisioner-rbac.yamlcsi-rbd-provisioner-rbac.yamlcontrollerprovisioner的 RBAC 权限csi-nodeplugin-rbac.yamlcsi-rbd-node-rbac.yamlnode 插件的 RBAC 权限csi-rbdplugin-provisioner.yamlcsi-rbd-controller.yamlCSI ControllerDeployment负责创建 RBD 镜像csi-rbdplugin.yamlcsi-rbd-node.yamlCSI NodeDaemonSet每个节点挂载卸载 RBDcsidriver.yamlcsi-driver-rbd.yamlCSIDriver 资源定义GitHub · Change is constant. GitHub keeps you ahead. · GitHub · GitHub​ceph-csi​tag-》v3.11.0​deploy-rbd/kubernets​​页面里现在的文件名之前的旧名字作用csi-provisioner-rbac.yamlcsi-rbd-provisioner-rbac.yamlcontrollerprovisioner的 RBAC 权限csi-nodeplugin-rbac.yamlcsi-rbd-node-rbac.yamlnode 插件的 RBAC 权限csi-rbdplugin-provisioner.yamlcsi-rbd-controller.yamlCSI ControllerDeployment负责创建 RBD 镜像csi-rbdplugin.yamlcsi-rbd-node.yamlCSI NodeDaemonSet每个节点挂载卸载 RBDcsidriver.yamlcsi-driver-rbd.yamlCSIDriver 资源定义csi-config-map.yaml新增这个版本不需要我们不用它下载文件方式一、浏览器下载文件然后传到服务器​方式二wget下载2.更改yaml文件的namespace替换名称空间为自己需要的名称空间我的这里ceph-csi用的是ceph-csi-rbd这个名称空间。[rootmaster231 ceph-csi]# sed -i s/namespace: default/namespace: ceph-csi-rbd/g csi-provisioner-rbac.yaml csi-nodeplugin-rbac.yaml csi-rbdplugin-provisioner.yaml csi-rbdplugin.yaml拉镜像2.部署前准备拉镜像2.1拉镜像部署涉及到这些镜像所有的worker节点都需要拉镜像需要的镜像国内加速地址quay.io/cephcsi/cephcsi:v3.11.0quay.m.daocloud.io/cephcsi/cephcsi:v3.11.0registry.k8s.io/sig-storage/csi-node-driver-registrar:v2.10.0k8s.m.daocloud.io/sig-storage/csi-node-driver-registrar:v2.10.0registry.k8s.io/sig-storage/csi-provisioner:v4.0.0k8s.m.daocloud.io/sig-storage/csi-provisioner:v4.0.0registry.k8s.io/sig-storage/csi-attacher:v4.5.0k8s.m.daocloud.io/sig-storage/csi-attacher:v4.5.0registry.k8s.io/sig-storage/csi-resizer:v1.10.0k8s.m.daocloud.io/sig-storage/csi-resizer:v1.10.0registry.k8s.io/sig-storage/csi-snapshotter:v7.0.0k8s.m.daocloud.io/sig-storage/csi-snapshotter:v7.0.02.2打tag通过加速源拉下来的镜像需要打下tag和yaml里面的image一样所有镜像都需要打tag以下面这个为例[rootworker232 ~]# docker tag k8s.m.daocloud.io/sig-storage/csi-provisioner:v4.0.0 registry.k8s.io/sig-storage/csi-provisioner:v4.0.0 [rootworker232 ~]# docker image rmi k8s.m.daocloud.io/sig-storage/csi-provisioner:v4.0.0 Untagged: k8s.m.daocloud.io/sig-storage/csi-provisioner:v4.0.0 Untagged: k8s.m.daocloud.io/sig-storage/csi-provisionersha256:de79c8bbc271622eb94d2ee8689f189ea7c1cb6adac260a421980fe5eed667083.部署部署RBACkubectl apply -f csi-provisioner-rbac.yaml kubectl apply -f csi-nodeplugin-rbac.yaml部署CSIDRIVER(上面已经部署了这一步可以省略)部署controller和node插件kubectl apply -f csi-rbdplugin-provisioner.yaml kubectl apply -f csi-rbdplugin.yaml4.检查pods[rootmaster231 ceph-csi]# kubectl -n ceph-csi-rbd get pods NAME READY STATUS RESTARTS AGE csi-rbdplugin-grrjc 0/3 ContainerCreating 0 20h csi-rbdplugin-kmnpr 0/3 ContainerCreating 0 20h csi-rbdplugin-provisioner-7dbd5d6c48-78m64 0/7 ContainerCreating 0 20h csi-rbdplugin-provisioner-7dbd5d6c48-8xhx4 0/7 ContainerCreating 0 20h csi-rbdplugin-provisioner-7dbd5d6c48-rdqz7 0/7 Pending 0 20h [rootmaster231 ceph-csi]#发现pods都没有起来​describe提示cm挂载失败​查看发现没有cm资源ceph-configceph-csi-configceph-csi-encryption-kms-config[rootmaster231 ceph-csi]# kubectl -n ceph-csi-rbd get cm NAME DATA AGE kube-root-ca.crt 1 24h [rootmaster231 ceph-csi]#原因是这 3 个 ConfigMap 必须单独部署官方原版 yamlcsi-rbdplugin.yaml、provisioner.yaml已经硬编码挂载了这 3 个 CM。[rootmaster231 ceph-csi]# kubectl -n ceph-csi-rbd get pods csi-rbdplugin-grrjc -o yaml \ | egrep -e ceph-csi-config -e ceph-csi-encryption-kms-config -e ceph-csi - mountPath: /etc/ceph-csi-config/ name: ceph-csi-config - mountPath: /etc/ceph-csi-encryption-kms-config/ name: ceph-csi-encryption-kms-config name: ceph-csi-config name: ceph-csi-config name: ceph-csi-encryption-kms-config name: ceph-csi-encryption-kms-config [rootmaster231 ceph-csi]#​configmap5.部署cm推荐阅读https://docs.ceph.com/en/reef/rbd/rbd-kubernetes/​5.1三个cm的作用1ceph-config必须 挂载路径/etc/ceph/ 作用给 CSI 容器提供 ceph.conf 配置文件包含 mon 地址、cephx 认证配置容器内部执行 rbd 命令读取此配置连接 Ceph 集群Ceph。 内容ceph.conf 空 keyringkeyring 必须存在留空即可Ceph。 2ceph-csi-config核心、必须 挂载路径/etc/ceph-csi-config/ 作用Ceph-CSI 全局集群清单JSON 格式定义多个 Ceph 集群的 clusterID(fsid) 和 monitors 列表CSI 插件启动后读取这个文件识别要对接哪些 Ceph 集群Ceph。 关键字段clusterIDceph fsid、monitors[mon地址列表]Ceph。 3ceph-csi-encryption-kms-config可选不加密也要建空 CM 挂载路径/etc/ceph-csi-encryption-kms-config/ 作用存放块加密 KMS 密钥服务配置你不用 RBD 加密也要创建一个空的 ConfigMap否则 pod 挂载会失败5.2部署cmceph-config.yaml官方原版apiVersion: v1 kind: ConfigMap metadata: name: ceph-config namespace: ceph-csi-rbd data: ceph.conf: | [global] auth_cluster_required cephx auth_service_required cephx auth_client_required cephx mon_host 10.0.0.141:6789,10.0.0.142:6789,10.0.0.143:6789 keyring: | ​ceph-csi-config.yaml官方原版apiVersion: v1 kind: ConfigMap metadata: name: ceph-csi-config namespace: ceph-csi-rbd data: config.json: |- [ { clusterID: 你的ceph fsid, monitors: [ 10.0.0.141:6789, 10.0.0.142:6789, 10.0.0.143:6789 ] } ] ​获取 fsid 命令ceph fsidceph-csi-encryption-kms-config.yaml空配置不加密必建apiVersion: v1 kind: ConfigMap metadata: name: ceph-csi-encryption-kms-config namespace: ceph-csi-rbd data: config.json: {} ​验证[rootmaster231 ceph-csi]# kubectl -n ceph-csi-rbd get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES csi-rbdplugin-provisioner-669fdc67db-plrhq 7/7 Running 0 11s 10.100.1.208 worker232 none none csi-rbdplugin-provisioner-669fdc67db-zldmx 7/7 Running 0 93s 10.100.2.127 worker233 none none csi-rbdplugin-tfkbv 3/3 Running 0 36m 10.0.0.232 worker232 none none csi-rbdplugin-xqkmt 3/3 Running 0 35m 10.0.0.233 worker233 none none [rootmaster231 ceph-csi]#​五、部署pvc验证ceph和k8s的联动性1.创建pvc.yaml[rootmaster231 ceph-csi]# cat pvc-test.yaml apiVersion: v1 kind: PersistentVolumeClaim metadata: name: rbd-test-pvc spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi storageClassName: ceph-rbd-sc ​ [rootmaster231 ceph-csi]#应用[rootmaster231 ceph-csi]# kubectl apply -f pvc-test.yaml persistentvolumeclaim/rbd-test-pvc created ​2.验证[rootmaster231 ceph-csi]# kubectl get pvc NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE rbd-test-pvc Bound pvc-893efc06-fe65-4930-ac50-bba89da4ccf8 1Gi RWO ceph-rbd-sc 5s [rootmaster231 ceph-csi]​ceph验证下存储池的rbd[rootceph141 ~]# rbd ls -l ceph-block-pool NAME SIZE PARENT FMT PROT LOCK csi-vol-61f4416d-25d3-4215-b297-323a1b5c087d 1 GiB 2 [rootceph141 ~]#​本文作者吴玉桦转载请标注原文链接。下章介绍19.2.6版本的大坑之处以及集群版本如何回退问题。