Flink CDC 安装与配置教程三步跑通 MySQL 到 Doris 的实时同步管道【免费下载链接】flink-cdcFlink CDC is a streaming data integration tool项目地址: https://gitcode.com/GitHub_Trending/flin/flink-cdcFlink CDC 是构建在 Apache Flink 之上、用 YAML 描述全库同步的流式数据集成工具。这份 Flink CDC 安装与配置指南带你三步跑通 MySQL 到 Doris 的同步链路。先搞清楚 Flink CDC 干什么一句话它把数据库的变更捕获成数据流再实时搬到目标端支持整库同步、分库分表合并、表结构自动演进schema evolution和数据处理。底层吃的是 Apache Flink 的流处理能力你只需要写一份 YAML 就能定义整条管道。它对外提供三层 API日常做同步主要用第一层YAML APIPipeline API零代码写 YAML、用 CLI 提交本文就讲它。SQL API在 Flink SQL 里用 DDL 定义 CDC 源表。DataStream API以 Maven 依赖方式写 Java 程序适合深度定制。开始前环境清单动手前把下面几样备齐能省下大量排查时间。项目要求JDK11 或更高3.6.0 起基于 JDK 11 构建用java -version确认Apache Flink1.20.x 或 2.2.x并设置好FLINK_HOME源端 / 目标端一个可访问的 MySQL 源和一个 Doris 目标网络互通Flink CDC官方二进制发行包flink-cdc-x.x.x-bin.tar.gz拿到二进制包后解压会得到一个flink-cdc-x.x.x目录里面是bin、lib、log、conf四块。后面提交作业用的 CLI 就在bin里。 想快速搭一套含 MySQL、Doris 的沙箱环境可以直接用仓库自带的 tools/cdcup/ 工具./cdcup.sh init生成配置./cdcup.sh up起容器省去手动装库。第一步放置连接器 JARFlink CDC 本身不打包具体连接器需要把源和汇两个 jar 放进去下载源端连接器flink-cdc-pipeline-connector-mysql和汇端连接器flink-cdc-pipeline-connector-doris对应你实际用的源与目标。把这两个 jar 放进Flink CDC Home 的lib目录——注意是 CDC 的lib不是 Flink 的lib放错地方作业起不来。因为新版不再把 MySQL 驱动打进连接器还需额外放一份 MySQL 驱动 jar 到 Flink 的lib或提交时用--jar带上。更多连接器的完整清单可查 docs/content/docs/connectors/pipeline-connectors/overview.md。第二步写一条同步管道 YAML新建一个mysql-to-doris.yaml描述从哪来、到哪去。下面是最小可用版本source: type: mysql hostname: localhost port: 3306 username: root password: 123456 tables: app_db.\.* server-id: 5400-5404 server-time-zone: UTC sink: type: doris fenodes: 127.0.0.1:8030 username: root password: pipeline: name: Sync MySQL Database to Doris parallelism: 2几个容易踩的点tables: app_db.\.*用正则匹配app_db下所有表实现整库同步只想同步某几张表就写具体表名。server-id给一个区间如5400-5404要覆盖parallelism的并发数。Doris 端不支持自动建库提前在目标建好对应数据库否则会写入失败。第三步提交作业切到 Flink CDC 解压目录用 CLI 提交bash bin/flink-cdc.sh mysql-to-doris.yaml提交成功的返回类似Pipeline has been submitted to cluster. Job ID: ae30f4580f1918bebf16752d4963dc54 Job Description: Sync MySQL Database to Doris拿到 Job ID 就说明作业已下发到集群。验证同步是否成功别只盯着提交回执两边都要看打开 Flink Web UI默认http://localhost:8081确认名为Sync MySQL Database to Doris的作业处于RUNNING。打开 Doris Web UI默认http://localhost:8030账号root确认表已自动创建、数据已落入。想进一步确认变更也在跟着走可以在 MySQL 里插入、更新、删一行再回 Doris 刷新数据应实时一致。完整演练步骤见 docs/content/docs/get-started/quickstart-for-2.2/mysql-to-doris.md。避坑清单JAR 放错目录连接器 jar 进 CDC 的libMySQL 驱动进 Flink 的lib二者别混。Doris 没预建库目标库要手动先建好。版本错配JDK、Flink、Flink CDC 三者版本要对得上升级前先对一遍。配置项随版本变不同版本参数可能有出入以最新官方文档为准入门可看 docs/content/docs/get-started/introduction.md。想从源码构建克隆仓库git clone https://gitcode.com/GitHub_Trending/flin/flink-cdc后按构建流程编译SNAPSHOT 包需要自己构建。进阶方向跑通第一条链路后可以在同一份 YAML 里继续加料route把源表路由到不同目标表名实现库/表改名与分片表合并。transform投影、过滤、函数转换数据在管道里就地加工。schema.change.behavior: evolve开启表结构自动演进源端加列目标端跟着变。需要动手时直接翻 tools/cdcup/ 的示例和 docs/content/docs/core-concept/ 下的概念文档照着抄改最快。【免费下载链接】flink-cdcFlink CDC is a streaming data integration tool项目地址: https://gitcode.com/GitHub_Trending/flin/flink-cdc创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
企业数字化 ERP 产品动态
相关推荐
mcp-use 高级特性实战指南：OpenAPI 生成、代理服务器、通知订阅与 Elicitation 后端MCP 服务MCP ClientsAI Agent人工智能 【免费下载链接】mcp-use The fullstack MCP framework to develop MCP Apps for ChatGPT / Claude & MCP Servers for AI Agents. 项目地址： https://gitcode.com/gh_mirrors/mc/mcp-use 点击查看 免费下载 本篇指南… · 2026/9/24 16:31:55
WeMod 解锁完整指南：用 Wand-Enhancer 免费开启全部专业版功能 WeMod 解锁完整指南：用 Wand-Enhancer 免费开启全部专业版功能 【免费下载链接】Wand-Enhancer Advanced UX and interoperability extension for Wand (WeMod) app 项目地址: https://gitcode.com/GitHub_Trending/we/Wand-Enhancer
昨晚打单机时࿰… · 2026/9/24 16:31:55
云手机哪个好用？系统兼容性、保活、网络维度分析，怎么选 云手机本质是部署在云端服务器上的 Android 虚拟设备，可实现本地设备关机后云端应用持续运行。本文从技术指标出发，整理了云手机的核心评估维度，对比市面主流几款产品的特性、优缺点，面向个人开发者、测试人员、应用托管用户提供选… · 2026/9/24 17:02:50
如何 5 步让虚拟角色开口说话：ComfyUI-WanVideoWrapper 语音驱动完整新手指南 如何 5 步让虚拟角色开口说话：ComfyUI-WanVideoWrapper 语音驱动完整新手指南 【免费下载链接】ComfyUI-WanVideoWrapper 项目地址: https://gitcode.com/GitHub_Trending/co/ComfyUI-WanVideoWrapper
你是否也遇到过这样的场景：配音挑得再好&am… · 2026/9/24 17:02:50
【SRC】EDU实战篇5：OSS 特征识别与权限联动利用技巧 文章目录 思路 案例一（OSS接管） 站点1 站点2 案例二（OSS覆盖） 站点1 站点2 站点3 案例三（工具综合利用） 站点1 总结 ⚠️本博文所涉安全渗透测试技术、方法及案例，仅用于网络安全技术研究与合规性交流，旨在提升读者的安全防护意识与技术能力。任何个人或组织在使用相关… · 2026/9/24 17:02:37
【Coze】【视频】三分钟读一本书 今天给大家演示一个 《三分钟读一本书》Coze 工作流。该工作流通过大模型驱动的分镜文案生成、图像合成、语音合成以及视频草稿自动创建等一整套流程，将一本书的内容浓缩为一个三分钟的视频，实现从文本到成片的全自动化制作。用户只需输入书名、作者和个人账号信息，即可得到… · 2026/9/24 17:02:12
第24篇-MCP-Client架构-Host应用如何管理多个Server连接 【MCP 全栈教程】第 24 篇：MCP Client 架构——Host 应用如何管理多个 Server 连接 本系列定位：从协议原理到 Server 开发、Client 开发、再到各大平台实战集成，系统化掌握 MCP（Model Context Protocol）全栈技术体系。… · 2026/9/24 17:01:59
基于YOLOv8的渔船作业监控系统：从环境搭建到边缘部署全流程 简介：这是一套面向计算机、人工智能、自动化等专业学生与教师的毕业设计级项目资源，围绕YOLOv8实现渔船作业监控系统，可用于毕设、课程设计、大作业或项目立项演示。压缩包共97个文件，约24.21MB，以70个Python源码文件为… · 2026/9/24 0:00:13
1D-CNN时间序列建模实战：从Conv1d原理到工业落地 简介：面向时间序列数据建模的一维卷积神经网络完整实现，适合深度学习入门者及需要快速验证时序模型的研究者，能够从音频、文本、传感器或股价等序列中挖掘局部特征与时间依赖。压缩包体积很小，只有3KB，内含3个Python脚… · 2026/9/24 0:00:26
柔软的L：汉语语流中被忽视的舌肌张力控制 1. 这个“L”不是字母表里的L，而是舌尖上的L最近在几个方言群和语音教学社群里，反复看到有人发一句：“也说字母L：柔软的长舌”。初看以为是英语发音课笔记，点开才发现全是方言爱好者、播音系学生、语言康复师甚至戏曲演… · 2026/9/24 0:00:44
