Kubernetes 集群迁移：从自建到托管平台的平滑切换-云帆数科

Kubernetes 集群迁移从自建到托管平台的平滑切换基础设施不需要漂亮话。2024 年上半年我负责了一个 K8s 集群迁移项目从自建 K8s 集群基于 kubeadm 部署迁移到托管 K8s 平台阿里云 ACK。集群规模 80 个节点运行着 400 个 Pod涉及 50 个业务线。迁移过程持续了 3 个月期间做到业务无感知切换。这篇文章记录的是技术方案和踩坑过程。一、为什么要迁移自建集群的运维成本自建 K8s 集群跑了两年初期成本低但规模上来后运维成本指数级上升。成本 1控制平面维护我们有 3 个 master 节点etcd 集群独立部署。平均每个月有 1 次 etcd 性能问题大集群场景下 etcd 的读写延迟会升高需要人工介入优化。etcd 监控关键指标# 我们配置的 etcd 告警规则 groups: - name: etcd rules: - alert: EtcdHighCommitDurations expr: histogram_quantile(0.99, rate(etcd_disk_wal_fsync_duration_seconds_bucket[10m])) 0.1 annotations: summary: etcd fsync 延迟过高可能影响集群稳定性成本 2版本升级风险从 K8s 1.20 升级到 1.24我们花了 2 个月准备。要审计所有已部署的 CRD 是否兼容新版本要测试 kubelet 升级后对业务 Pod 的影响还要考虑 CNI 和 CSI 插件的兼容性。最终升级当天还是出了事故Calico 的旧版本不支持 1.24 的新 API导致部分节点的 Pod 网络中断。成本 3灾备方案复杂自建集群的灾备需要自己设计。我们做了 etcd 定期备份控制平面多可用区部署但应用数据的备份恢复方案一直不完善。2023 年有一次误删 namespace 操作恢复花了 6 小时。综合评估后技术委员会决定迁移到托管平台。核心考量是把控制平面的运维成本转嫁给云厂商团队聚焦在应用层优化。二、迁移方案双活架构平滑切换迁移的核心挑战是如何在不影响业务的情况下把 400 个 Pod 从旧集群迁移到新集群。我们设计的方案是双活架构渐进式切换阶段 1新集群搭建基础服务部署2 周先在 ACK 上搭建新集群网络方案选了 Terway阿里云自研的 CNI 插件和 VPC 集成更好。踩坑记录新建集群的 Pod CIDR 和旧集群不一样导致一部分写死 IP 的配置失效。之后我们规范了所有配置必须通过环境变量或 ConfigMap 注入不允许写死 IP。阶段 2双集群同步灰度流量4 周这是最关键的阶段。我们在两个集群同时部署应用但通过 Ingress 控制流量分配。具体做法新集群部署和业务对等的应用实例配置中心同步配置用自定义同步脚本存储层做双向同步RDS 用 DTSRedis 用双写Ingress 层按百分比分流刚开始 5%无问题后逐步提升到 50%// 流量分配的逻辑简化版 func ShouldRouteToNewCluster(req *http.Request) bool { userID : extractUserID(req) // 按 userID 做一致性哈希保证同一用户始终路由到同一集群 hash : fnv32(userID) % 100 return hash currentPercentage // currentPercentage 从配置中心读取 }阶段 3全量切换旧集群下线2 周灰度验证通过后把流量 100% 切到新集群旧集群保留 1 周作为应急回滚备份然后下线。三、关键技术点配置同步和存储双写技术点 1配置中心双写我们的配置中心用的是 Apollo旧集群和新集群各有一套 Apollo 实例。需要保证配置变更能实时同步。方案用 Apollo 的开放 API 写了一个同步工具监听旧集群的配置变更事件自动同步到新集群。type ConfigSyncer struct { sourceClient *apollo.Client targetClient *apollo.Client } func (s *ConfigSyncer) Sync() error { // 监听配置变更 events : s.sourceClient.Subscribe() for event : range events { // 过滤掉系统配置只同步业务配置 if strings.HasPrefix(event.Namespace, business.) { err : s.targetClient.Publish(apollo.Release{ Namespace: event.Namespace, Config: event.Config, }) if err ! nil { log.Errorf(同步配置失败: %v, err) // 写入重试队列 s.retryQueue.Push(event) } } } return nil }踩坑第一次同步时把 Apollo 的集群配置也同步过去了导致新集群的应用连到了旧集群的中间件。之后加了命名空间白名单只允许同步业务配置。技术点 2存储双写这是最复杂的部分。我们的存储层有 MySQL、Redis、MongoDB每种都有不同的双写方案。MySQL 双写用阿里云 DTS数据传输服务做单向同步旧集群的数据库 → 新集群的数据库。应用层不需要改代码。但有一个问题DTS 的同步延迟在秒级如果切流量时有未完成的事务可能导致数据不一致。解决方案流量切换前暂停所有写操作 30 秒等 DTS 同步延迟降到 0 后再切换。Redis 双写Redis 没有像 DTS 这样的托管同步工具我们在应用层做了双写type DualWriteRedis struct { oldClient *redis.Client newClient *redis.Client mode SyncMode // 渐进式先读旧写双再读新写新 } func (d *DualWriteRedis) Set(key string, value interface{}) error { // 写旧集群 err : d.oldClient.Set(ctx, key, value, 0).Err() if err ! nil { return err } // 写新集群异步不阻塞主流程 go func() { d.newClient.Set(ctx, key, value, 0) }() return nil }这个方案在切流量前跑了 2 周验证了新集群 Redis 的可用性和性能。四、风险控制三次演练应急预案迁移这类操作光有方案不够必须演练。我们做了三次全流程演练每次都在测试环境完整跑一遍迁移流程。第三次演练发现了致命问题新集群的 Ingress 配置和旧集群有细微差异导致部分带路径重写的路由规则失效。修复后第四次演练通过才在线上执行。应急预案关键点5 分钟内能回滚保留旧集群 1 周Ingress 配置不删随时可以切回。数据不丢所有数据库在切换前做全量备份。监控全覆盖新旧集群同时接入监控切换过程中实时对比错误率、延迟、吞吐量。五、迁移效果运维成本降低 60%迁移完成 3 个月后我们统计了关键指标运维成本控制平面运维时间从每月 20 人时降到 2 人时K8s 版本升级频率从每年 1 次不敢升到每季度 1 次托管平台自动升级故障恢复时间从平均 2 小时降到 30 分钟托管平台有自动恢复能力性能对比Pod 启动时间从平均 15 秒降到 8 秒ACK 的调度性能更好网络延迟VPC 网络比自建机房的延迟低 20%etcd 性能不再需要关注托管平台负责成本变化计算资源成本上升 15%托管平台收费人力成本下降 60%综合成本下降 30%如果重来一次我会更早做迁移决策。自建集群在小规模时成本低但规模上来后托管平台的经济优势和技术优势都会显现。基础设施不需要漂亮话。选择适合自己团队规模和技术能力的方案比追逐新技术更重要。

企业数字化 ERP 产品动态

相关推荐

Mathematics | Branch

注：本文为“遇见数学”翻译的 “数学分支概览” 两篇文章合辑。数学世界的版图：主要分支概览（上） 原创遇见数学 2025 年 04 月 03 日 12:02 河南数学的分支（Areas of Mathematics） 在文艺复兴之前&am… · 2026/10/15 2:51:19

手把手教你学 Simulink—— A* 算法与 RRT 的混合路径搜索对比仿真

目录手把手教你学 Simulink —— A* 算法与 RRT 的混合路径搜索对比仿真一、A* 与 RRT 到底差在哪？ 1.1 核心对比表二、仿真总体架构（统一对比框架）三、关键参数（公平对比默认）四、Simulink 建模 Step‑by‑Step Step ① —— 统一地图表示 Step ② —— A*… · 2026/10/30 9:00:01

治愈系UI组件库复盘：从设计稿到可维护代码的工程化路径

治愈系UI组件库复盘：从设计稿到可维护代码的工程化路径一、设计稿的温柔不等于代码的优雅：组件库维护的真实痛点治愈系UI的设计稿通常以柔和色调、圆角卡片和细腻留白为特征。设计团队交付的Figma文件中，一个"心情卡片"组件包含… · 2026/10/7 18:16:31

蒙特卡洛法模拟电动汽车充电负荷及其电网影响

1. 电动汽车充电负荷模拟的背景与意义随着全球能源结构转型加速，电动汽车（EV）的普及率正在快速增长。根据国际能源署（IEA）的数据，2022年全球电动汽车销量突破1000万辆，预计到2030年将占据新车销… · 2026/11/5 9:23:11

SQL执行顺序与性能优化实战指南

1. SQL执行顺序深度解析作为一名常年与数据库打交道的开发者，我见过太多因为不理解SQL执行顺序而导致的性能问题。今天我们就来彻底拆解这个看似简单却暗藏玄机的话题。 1.1 标准SQL查询结构先看一个完整的SQL查询模板： SELECT DISTINCT 列名, SUM… · 2026/11/5 9:23:11

前端monorepo实践：pnpm与Rush的高效协作

1. 项目概述：现代前端工程化的monorepo实践去年接手一个跨团队协作的大型前端项目时，我第一次真正体会到多仓库管理的痛苦。十几个npm包分散在不同仓库，每次联调就像在玩俄罗斯方块——永远对不齐版本号。直到我们把整个项目迁移到pnpmrush的… · 2026/11/5 9:23:11

NAS上使用UPage快速生成轻量化网页的实践指南

1. 项目概述：NAS上的轻量化网页生成方案在私有云存储设备（NAS）上部署网页服务一直是技术爱好者探索的热点。最近发现一个名为UPage的开源工具，它能通过自然语言描述快速生成静态网页，这种"一句话建站"的能力… · 2026/11/5 9:23:11

Jetpack Compose布局：Arrangement与Alignment详解

1. 理解Compose布局中的Arrangement与Alignment 在Jetpack Compose的布局系统中，Arrangement和Alignment是两个核心概念，它们决定了子元素在父容器内的排列方式。虽然名称相似，但它们控制的是布局的不同维度： Arrangement &… · 2026/11/5 9:23:11

Windows 64位 Tomcat 8.5.38 免安装部署与避坑指南

简介：Apache Tomcat 8.5.38 Windows x64 版是一款面向 Java Web 开发者、J2EE 初学者以及需要本地调试 Servlet/JSP 应用人员的轻量级 Web 容器，可用于搭建开发测试环境、部署 war 应用并理解 Tomcat 的目录组织与运行机制。压缩包共 645 个文件&#xf… · 2026/11/5 9:22:11

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/4 3:16:49

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

多智能体协作系统架构设计与实践优化

1. 多智能体协作系统的时代背景2017年Transformer架构的诞生彻底改变了人工智能的发展轨迹。当行业还沉浸在单一大模型带来的性能突破时，Anthropic的研究团队已经将目光投向了更前沿的领域——如何让多个智能体通过协作产生超越单体能力的系统智能。这就像交响乐团中… · 2026/11/5 0:00:39

大模型系统性入门实战指南：从原理到部署微调的全链路路线

提到大模型的系统性入门，我先说个结论：这事真不难，难的是资料太散、路线太多，今天这个框架明天那个工具，新人很容易在“收藏夹吃灰”和“教程看到一半放弃”之间反复横跳。市面上关于大模型的内容少说有几十万篇&#… · 2026/11/5 0:00:39

鸿蒙文件系统沙箱机制解析与开发实践

1. 鸿蒙文件系统沙箱机制深度解析作为一名从Android转向鸿蒙开发的工程师，我深刻体会到文件系统访问是迁移过程中最先遇到的"拦路虎"。在Android上运行良好的文件读写代码，在鸿蒙真机环境却频频出现文件写入后神秘消失或直接抛出权限拒绝错误的… · 2026/11/5 0:00:39

双极步进电机控制实战：DRV8818PWPR与PIC18F86K22驱动调试

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

Kubernetes 集群迁移：从自建到托管平台的平滑切换

相关推荐

了解更多？预约专属演示