首页/新闻资讯/正文详情

【源码|编译】flink 12 源码编译及使用idea运行、debug

发布时间:2026/11/3 1:11:03 来源:云帆数科 栏目:资讯中心
【源码|编译】flink 12 源码编译及使用idea运行、debug
文章目录0. 环境1. 编译2. 运行2.1. JobManager运行1. Main class2. VM options3. Program arguments4. Use classpath of module5. 运行2.2. TaskManager3. 其他待解决的日志只能打印error级别的0. 环境maven 3.6.3java 1.81. 编译maven命令mvn clean install-DskipTests-Dscala-2.11-Dmaven.javadoc.skiptrue-Dcheckstyle.skiptrue-Drat.skiptruemaven 编译的时候跳过测试代码、javadoc 和代码风格检查这样可以减少不少时间。发现在终端使用命令行的方式基本只需要编译一次即可不过一般时间比较长半个小时左右。对于不是必需地、使用场景不多的module以及编译时某些module打包出错的问题可以先在pom中注掉加快编译。2. 运行2.1. JobManager运行配置1. Main class在Main class配置栏中指定StandaloneSessionClusterEntrypoint2. VM options配置log4j 便于日志打印配置classpath用于进程运行-Dlog4j.configurationfile:/Users/lianggao/MyWorkSpace/001project/flink/build-target/conf/log4j-console.properties-classpath:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-csv-1.12.3.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-dist_2.11-1.12.3.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-json-1.12.3.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-shaded-zookeeper-3.4.14.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-table-blink_2.11-1.12.3.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/flink-table_2.11-1.12.3.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/log4j-1.2-api-2.12.1.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/log4j-api-2.12.1.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/log4j-core-2.12.1.jar:/Users/lianggao/MyWorkSpace/001project/flink/build-target/lib/log4j-slf4j-impl-2.12.1.jar3. Program arguments用于指定flink-conf.yaml配置文件。同样在源码编译生成的build-target/conf路径中找到配置文件当然也可以指定文件路径获取配置文件。在flink-conf.yaml文件中原则上不需要对参数做任何调整如果JobManager和TaskManager不在同一台机器上则需要修改flink-conf.yaml中的参数信息。这里我们使用build-target/conf路径的默认配置-c/Users/lianggao/MyWorkSpace/001project/flink/build-target/conf4. Use classpath of module选择flink-runtime_2.11模块。5. 运行点击运行并访问http://localhost:8081/#/overview2.2. TaskManagerTaskManager和JobManager的启动方式基本一致唯一的区别是启动类不同TaskManager实例的启动类为org.apache.flink.runtime.taskexecutor.TaskManagerRunner。但是似乎只运行几秒即直接挂掉。不过没关系现在我们可以debug了通过debug发现taskmanager的动态参数没有配置在Program arguments 继续添加以下参数点击运行此时发现可以了。-D taskmanager.memory.framework.off-heap.size134217728b-D taskmanager.memory.network.max134217730b-D taskmanager.memory.network.min134217730b-D taskmanager.memory.framework.heap.size134217728b-D taskmanager.memory.managed.size536870920b-D taskmanager.cpu.cores1.0-D taskmanager.memory.task.heap.size402653174b-D taskmanager.memory.task.off-heap.size0b-D taskmanager.memory.jvm-metaspace.size268435456b-D taskmanager.memory.jvm-overhead.max201326592b-D taskmanager.memory.jvm-overhead.min201326592b以上就是在IDEA中搭建分布式集群调试环境的过程通过客户端命令行可以向Flink集群提交作业并运行在各个模块中设定代码调试断点。3. 其他待解决的日志只能打印error级别的

相关推荐

优秀 MATLAB 作者、书籍推荐:国外经典教材与技术资源整理
优秀 MATLAB 作者、书籍推荐:国外经典教材与技术资源整理

目录 优秀 MATLAB 作者、书籍推荐:国外经典教材与技术资源整理 一、Cleve Moler:从 MATLAB 的起源理解科学计算 Numerical Computing with MATLAB Experiments with MATLAB 二、Nicholas Higham 与 Desmond Higham:数值计算的准确性和可靠… · 2026/11/3 1:11:03

西门子S7-1500R/H冗余系统中S1与S2模式深度解析与配置指南
西门子S7-1500R/H冗余系统中S1与S2模式深度解析与配置指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:10:03

Java0
Java0

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:10:03

2D游戏地图怎么做:Tiled地图编辑器实战入门
2D游戏地图怎么做:Tiled地图编辑器实战入门

2D游戏地图怎么做:Tiled地图编辑器实战入门 【免费下载链接】tiled Flexible level editor 项目地址: https://gitcode.com/gh_mirrors/ti/tiled Tiled地图编辑器是一款开源的2D瓦片地图编辑工具,适合做平台跳跃、Roguelike 或 RPG 关卡的开发者。… · 2026/11/3 2:03:20

Vibe-Trading 打板数据实战:一天跑通 kpl_list 从 Token 配置到全历史回补
Vibe-Trading 打板数据实战:一天跑通 kpl_list 从 Token 配置到全历史回补

Vibe-Trading 打板数据实战:一天跑通 kpl_list 从 Token 配置到全历史回补 【免费下载链接】Vibe-Trading "Vibe-Trading: Your Personal Trading Agent" 项目地址: https://gitcode.com/GitHub_Trending/vi/Vibe-Trading 做短线打板数据量化研究时… · 2026/11/3 2:03:20

Boogu-Image模型包:128Rank LoRA加速与多精度AI图像生成完整指南
Boogu-Image模型包:128Rank LoRA加速与多精度AI图像生成完整指南

Boogu-Image模型包:128Rank LoRA加速与多精度AI图像生成完整指南 Boogu-Image是一个专为ComfyUI优化的AI图像生成模型包,通过提供多种精度版本和128Rank Turbo LoRA模型,帮助用户在保持图像质量的同时显著提升生成效率。在前100字的介绍中&am… · 2026/11/3 2:03:20

Maven 的 source、target、release:字节码兼容不等于 API 兼容
Maven 的 source、target、release:字节码兼容不等于 API 兼容

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 2:03:20

申论+行测
申论+行测

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 2:03:20

【56】渣土车数据集(有v5/v8模型)/YOLO渣土车检测
【56】渣土车数据集(有v5/v8模型)/YOLO渣土车检测

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 2:02:20

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战
STM32F411RE与MAX14431实现SPI隔离:工业现场抗共模干扰实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题
ESP32+大模型AI硬件开发:从Demo到产品的8个工程问题

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践
基于MAX14431BAEE+与PIC18F85J10的SPI隔离方案设计与实践

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/3 1:01:59

双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试
双极步进电机控制实战:DRV8818PWPR与PIC18F86K22驱动调试

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 13:10:28

STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析
STM32F207ZG + DRV8818PWPR 步进电机驱动实战解析

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 4:42:45

DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案
DRV8818PWPR+dsPIC30F4013工业级双极步进电机控制方案

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views … · 2026/11/2 5:17:18

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码