Kubernetes部署实战：从基础到生产环境优化

1. Kubernetes部署核心概念解析Kubernetes简称K8s作为容器编排的事实标准其部署过程是每个云原生工程师必须掌握的硬核技能。不同于简单的应用安装K8s部署涉及集群拓扑设计、网络规划、存储配置等多维度考量。我在生产环境部署过数十个K8s集群深刻体会到部署二字背后隐藏着大量工程细节。典型的K8s部署包含控制平面Control Plane和工作节点Worker Node两大角色组件。控制平面由API Server、etcd、Controller Manager和Scheduler组成犹如集群的大脑工作节点则运行kubelet、kube-proxy和容器运行时如Docker或containerd承担实际工作负载。这种架构设计既保证了集群的统一管理又实现了计算资源的弹性扩展。2. 主流部署方案对比与选型2.1 手动部署 vs 自动化工具早期我们使用kubeadm手动部署需要逐步安装etcd、配置证书、部署控制平面组件。虽然学习价值高但操作繁琐且容易出错。现在更推荐使用自动化工具kubekeyKubeSphere团队开源的部署工具支持多节点并行部署集成网络插件和存储方案sealos以kubernetes as a package为理念一条命令即可完成集群部署kopsAWS环境首选支持生产级集群的创建和管理生产环境建议中小规模集群选用kubekey云环境优先考虑厂商提供的托管服务如EKS、AKS2.2 网络插件选型要点部署时必须同步考虑网络方案常见选择包括插件名称性能表现易用性适用场景Calico★★★★☆★★★☆☆需要网络策略的场景Flannel★★★☆☆★★★★★快速验证环境Cilium★★★★★★★★★☆高性能要求环境Weave Net★★★☆☆★★★★☆简单POC环境我们在金融行业生产环境实测发现Cilium基于eBPF的实现相比传统方案可降低30%的网络延迟。3. 实战部署流程详解3.1 基础环境准备以Ubuntu 22.04为例所有节点需预先完成# 禁用swap sudo swapoff -a sudo sed -i / swap / s/^/#/ /etc/fstab # 设置内核参数 cat EOF | sudo tee /etc/modules-load.d/k8s.conf overlay br_netfilter EOF sudo modprobe overlay sudo modprobe br_netfilter # 设置sysctl参数 cat EOF | sudo tee /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-iptables 1 net.bridge.bridge-nf-call-ip6tables 1 net.ipv4.ip_forward 1 EOF sudo sysctl --system3.2 使用kubeadm部署控制平面主节点执行sudo apt-get update sudo apt-get install -y apt-transport-https ca-certificates curl curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg echo deb [signed-by/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main | sudo tee /etc/apt/sources.list.d/kubernetes.list sudo apt-get update sudo apt-get install -y kubelet kubeadm kubectl sudo apt-mark hold kubelet kubeadm kubectl # 初始化集群 sudo kubeadm init --pod-network-cidr10.244.0.0/16 --apiserver-advertise-addressMASTER_IP初始化完成后务必保存显示的join命令用于工作节点加入集群。3.3 工作节点加入集群在工作节点执行主节点提供的join命令sudo kubeadm join MASTER_IP:6443 --token TOKEN \ --discovery-token-ca-cert-hash sha256:HASH加入后在主节点验证节点状态kubectl get nodes -o wide4. 关键组件部署与配置4.1 网络插件安装示例Calicokubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml部署后验证网络连通性kubectl create deployment nginx --imagenginx kubectl expose deployment nginx --port80 kubectl run test-$RANDOM --rm -i --tty --imagebusybox -- sh # 在busybox容器内执行 wget -qO- nginx4.2 存储方案配置生产环境推荐使用CSI驱动对接云存储或本地存储方案。以NFS为例helm repo add nfs-subdir-external-provisioner https://kubernetes-sigs.github.io/nfs-subdir-external-provisioner/ helm install nfs-subdir-external-provisioner nfs-subdir-external-provisioner/nfs-subdir-external-provisioner \ --set nfs.serverNFS_SERVER_IP \ --set nfs.path/exported/path创建StorageClass测试apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: name: nfs-client provisioner: cluster.local/nfs-subdir-external-provisioner parameters: archiveOnDelete: false5. 生产环境部署进阶技巧5.1 高可用控制平面部署生产环境需要部署多master节点实现高可用。使用kubeadm部署时需额外准备负载均衡器如HAProxy对接所有master节点修改初始化命令kubeadm init --control-plane-endpoint LOAD_BALANCER_DNS:LOAD_BALANCER_PORT \ --upload-certs --pod-network-cidr10.244.0.0/16其他master节点使用生成的join命令加入kubeadm join LOAD_BALANCER_DNS:LOAD_BALANCER_PORT --token ... \ --discovery-token-ca-cert-hash sha256:... \ --control-plane --certificate-key ...5.2 集群认证与授权配置建议部署后立即配置RBAC和网络策略apiVersion: networking.k8s.io/v1 kind: NetworkPolicy metadata: name: default-deny spec: podSelector: {} policyTypes: - Ingress - Egress6. 常见问题排查指南6.1 节点NotReady状态排查检查kubelet服务状态journalctl -u kubelet -n 50 --no-pager验证容器运行时状态sudo crictl ps -a检查网络插件Pod状态kubectl get pods -n kube-system6.2 Pod卡在Pending状态查看事件详情kubectl describe pod pod-name常见原因资源不足检查kubectl describe nodes没有满足条件的节点检查nodeSelector/tolerationsPVC未绑定检查kubectl get pvc7. 部署后的必要优化7.1 监控方案部署推荐使用Prometheus-Operatorhelm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm install kube-prometheus prometheus-community/kube-prometheus-stack访问Grafanakubectl port-forward svc/kube-prometheus-grafana 3000:807.2 日志收集方案EFK栈部署示例helm install elasticsearch elastic/elasticsearch --version 7.17.3 helm install fluent-bit fluent/fluent-bit --set backend.typees helm install kibana elastic/kibana --version 7.17.38. 不同环境的部署差异8.1 本地开发环境部署推荐使用minikube或kind快速搭建minikube start --driverdocker --cpus4 --memory8g或使用kind创建多节点集群# kind-config.yaml kind: Cluster apiVersion: kind.x-k8s.io/v1alpha4 nodes: - role: control-plane - role: worker - role: workerkind create cluster --config kind-config.yaml8.2 云厂商特定部署各云平台提供的托管服务对比服务名称特点适用场景EKS深度集成AWS服务AWS生态企业AKS无缝对接Azure ADMicrosoft技术栈GKE自动扩缩容能力强大需要弹性伸缩的场景ACK优化亚太区访问中国区业务9. 部署验证与性能测试9.1 集群健康检查使用sonobuoy进行一致性测试sonobuoy run --mode quick sonobuoy status sonobuoy retrieve9.2 性能基准测试使用kubemark进行大规模模拟测试go run hack/kubemark.go --num-nodes1000 --providerkubemark测试指标重点关注API响应延迟Pod启动时间网络吞吐量10. 安全加固实践部署完成后必须执行的安全措施启用Pod安全策略或Pod安全准入kubectl apply -f https://raw.githubusercontent.com/kubernetes/website/main/content/en/examples/policy/privileged-psp.yaml定期轮换证书kubeadm certs renew all启用审计日志apiVersion: audit.k8s.io/v1 kind: Policy rules: - level: Metadata在多年的K8s部署实践中我发现90%的问题都源于网络配置和资源不足。建议首次部署时预留充足资源并做好详细的部署记录。对于生产环境一定要先在小规模环境验证所有操作流程。