【StarRocks】starrocks 3.2.12 【share-nothing】 多Be集群容器化部署

文章目录一. 集群规划二.docker compose以及启动脚本卷映射对于网络环境变量三. 集群测试用户新建、赋权、库表初始化断电重启扩容 BE 集群一. 集群规划部署文档https://docs.starrocks.io/zh/docs/2.5/deployment/plan_cluster/分类描述FE节点1. 主要负责元数据管理、客户端连接管理、查询计划和查询调度。2. 三个节点实现高可用以及请求的流量转发 对于请求的高可用和流量转发使用 nginx 实现。对于单宿主机来说这里的fe部署一个3. 建议为每个 FE 节点分配 8 个 CPU 内核和 16GB RAM在大多数场景下每个 FE 节点只需要 100GB 的 HDD 存储。BE节点1. 负责数据存储和 SQL 执行。2. 对于 StarRocks 生产集群建议至少部署三个 BE 节点这些节点会自动形成一个 BE 高可用集群避免单点故障影响数据可靠性和服务可用性。3. 建议为每个 BE 节点分配 16 个 CPU 内核和 64GB RAM。4. StarRocks 集群所有 BE 节点所需的– 总存储空间 原始数据大小 x 数据副本数/数据压缩算法压缩比– 原始数据大小 单行数据大小 x 总数据行数说明1.FE 节点负责元数据管理、客户端连接、查询调度等任务配置要求较低。2.BE 节点负责数据存储和 SQL 查询执行配置要求较高尤其是 CPU 和内存。3.存储空间估算公式根据数据大小、数据副本数和压缩比来计算 BE 节点的存储需求。二.docker compose以及启动脚本参考https://github.com/StarRocks/demo/blob/master/deploy/docker-compose/docker-compose-3BE.yml# 定义starrocks be共用配置x-starrocks-be-common:starrocks-be-commonimage:starrocks/be-ubuntu:3.2.12command:-/bin/bash--c-|chmod x /data/starrocks/be_entrypoint.sh /data/starrocks/be_entrypoint.sh starrocks-fe-0environment:-HOST_TYPEFQDN-TZAsia/Shanghai-MYSQL_ROOT_PASSWORD1111111depends_on:-starrocks-fe-0restart:alwaysnetworks:# network config, can be configured to your preferred port and ip address, if not specified, it will use default network and assign a dynamic ipstarrocks-network:services:# starrocks1 fe 3bestarrocks-fe-0:image:starrocks/fe-ubuntu:3.2.12hostname:starrocks-fe-0container_name:starrocks-fe-0command:-/bin/bash--c-|/opt/starrocks/fe_entrypoint.sh starrocks-fe-0environment:-HOST_TYPEFQDN-TZAsia/Shanghai-MYSQL_ROOT_PASSWORD11111111ports:-1030:8030# Frontend service port (HTTP)-2020:9020# Backend service port (HTTP)-3030:9030# Frontend service port (MySQL)volumes:-./starrocks/fe-0/meta:/opt/starrocks/fe/meta:rw-./starrocks/fe-0/log:/opt/starrocks/fe/log:rwrestart:alwaysnetworks:# network config, can be configured to your preferred port and ip address, if not specified, it will use default network and assign a dynamic ipstarrocks-network:starrocks-be-0::*starrocks-be-commonhostname:starrocks-be-0container_name:starrocks-be-0volumes:-./starrocks/be-0/storage:/opt/starrocks/be/storage:rw-./starrocks/be-0/log:/opt/starrocks/be/log:rw-./sr/bin:/data/starrocks:rwxstarrocks-be-1::*starrocks-be-commonhostname:starrocks-be-1container_name:starrocks-be-1volumes:-./starrocks/be-1/storage:/opt/starrocks/be/storage:rw-./starrocks/be-1/log:/opt/starrocks/be/log:rw-./sr/bin:/data/starrocks:rwxstarrocks-be-2::*starrocks-be-commonhostname:starrocks-be-2container_name:starrocks-be-2volumes:-./starrocks/be-2/storage:/opt/starrocks/be/storage:rw-./starrocks/be-2/log:/opt/starrocks/be/log:rw-./sr/bin:/data/starrocks:rwxnetworks:starrocks-network:driver:bridge#!/bin/bashHOST_TYPE${HOST_TYPE:-IP}FE_QUERY_PORT${FE_QUERY_PORT:-9030}PROBE_TIMEOUT60PROBE_INTERVAL2HEARTBEAT_PORT9050MY_SELFMY_IPhostname-iMY_HOSTNAMEhostname-fSTARROCKS_ROOT${STARROCKS_ROOT:-/opt/starrocks}STARROCKS_HOME${STARROCKS_ROOT}/beBE_CONFIG$STARROCKS_HOME/conf/be.confMYSQL_ROOT_PW${MYSQL_ROOT_PASSWORD:-121111}log_stderr(){echo[date]$2}update_conf_from_configmap(){if[[x$CONFIGMAP_MOUNT_PATHx]];thenlog_stderrEmpty $CONFIGMAP_MOUNT_PATH env var, skip it!return0fiif!test-d$CONFIGMAP_MOUNT_PATH;thenlog_stderr$CONFIGMAP_MOUNT_PATHnot exist or not a directory, ignore ...return0filocaltgtconfdir$STARROCKS_HOME/confforconffileinls$CONFIGMAP_MOUNT_PATHdolog_stderrProcess conf file$conffile...localtgt$tgtconfdir/$conffileiftest-e$tgt;then# make a backupmv-f$tgt${tgt}.bakfiln-sfT$CONFIGMAP_MOUNT_PATH/$conffile$tgtdone}show_backends(){#先尝试无密码连接output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot --skip-column-names--batch-eSHOW BACKENDS;)if[$?-ne0];thenlog_stderr使用密码进行尝试连接检查be的状态# 如果无密码连接失败则使用密码进行连接output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot -p$MYSQL_ROOT_PW --skip-column-names--batch-eSHOW BACKENDS;)fiecho$output}parse_confval_from_cn_conf(){# a naive script to grep given confkey from cn conf file# assume conf format: ^\s*key\s*\s*value\s*$localconfkey$1localconfvaluegrep\$confkey\$BE_CONFIG|grep-v^\s*#|seds|^\s*$confkey\s*\s*\(.*\)\s*$|\1|gecho$confvalue}collect_env_info(){# heartbeat_port from conf filelocalheartbeat_portparse_confval_from_cn_confheartbeat_service_portif[[x$heartbeat_port!x]];thenHEARTBEAT_PORT$heartbeat_portfiif[[x$HOST_TYPExIP]];thenMY_SELF$MY_IPelseMY_SELF$MY_HOSTNAMEfi}attempt_add_self(){# 第一次尝试执行命令output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot --skip-column-names--batch-eALTER SYSTEM ADD BACKEND\$MY_SELF:$HEARTBEAT_PORT\;)if[$?-ne0];then# 如果第一次失败添加密码log_stderr使用密码进行尝试连接来添加be到feoutput$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot -p$MYSQL_ROOT_PW --skip-column-names--batch-eALTER SYSTEM ADD BACKEND\$MY_SELF:$HEARTBEAT_PORT\;)fiecho$output}add_self(){localsvc$1startdate%slocaltimeout$PROBE_TIMEOUTwhiletruedolog_stderrAdd myself ($MY_SELF:$HEARTBEAT_PORT) into FE ...# 这里当root添加密码时需要通过密码进行设置。#timeout 15 mysql --connect-timeout 2 -h $svc -P $FE_QUERY_PORT -u root -p11111111 --skip-column-names --batch -e ALTER SYSTEM ADD BACKEND \$MY_SELF:$HEARTBEAT_PORT\;attempt_add_self# 查看be是否加入成功memlistshow_backends $svcifecho$memlist|grep-q-w$MY_SELF/dev/null;thenbreak;filetexpirestarttimeoutnowdate%sif[[$expire-le$now]];thenlog_stderrTime out, abort!exit1fisleep$PROBE_INTERVALdone}svc_name$1if[[x$svc_namex]];thenechoNeed a required parameter!echo Example:$0fe_service_nameexit1fiupdate_conf_from_configmap collect_env_info add_self$svc_name||exit$?log_stderrAdd myself ($MY_SELF:$HEARTBEAT_PORT) into FE successlog_stderrrun start_be.shaddition_argsif[[x$LOG_CONSOLEx1]];then# env var LOG_CONSOLE1 can be added to enable logging to consoleaddition_args--logconsolefi$STARROCKS_HOME/bin/start_be.sh$addition_argsret$?if[[$ret-ne0x$LOG_CONSOLE!x1]];thennol50log_stderrLast$nollines of be.INFO ...tail-n$nol$STARROCKS_HOME/log/be.INFO log_stderrLast$nollines of be.out ...tail-n$nol$STARROCKS_HOME/log/be.outfiexit$ret卷映射对于fe涉及到元数据已存在的表、以及系统操作和日志volumes:-./starrocks/fe-0/meta:/opt/starrocks/fe/meta:rw-./starrocks/fe-0/log:/opt/starrocks/fe/log:rw对于be涉及到数据存储和日志volumes:-./starrocks/be-1:/opt/starrocks/be/storage:rw-./starrocks/be-1:/opt/starrocks/be/log:rw对于网络要实现starrocks容器之间的内部通讯主要是通过主机名端口。networks:starrocks-network:driver:bridge环境变量MYSQL_ROOT_PASSWORD11111111用于be容器启动时be添加到fe时的脚本使用。三. 集群测试用户新建、赋权、库表初始化-- 1. root 创建密码-- 只能root自己创建密码 Can not set password for root user, except root itself.SETPASSWORDFORrootPASSWORD(123456);showusers;-- 2. 创建用户radar与密码CREATEUSERradarIDENTIFIEDby11111111;-- 新增密码和修改密码都可用此密码SETPASSWORDFORrootPASSWORD(1234567);-- 3. 授予相关权限SHOWGRANTS;showroles;grantroottouserradar;-- 激活角色-- 每一个链接会话中都需要执行-- # Inactivated role(s): [user_admin, root].SETROLE root;-- 创建库表createdatabasemiddle;-- 注意-- 授权所有库表的权限对于创建库没有权限GRANTALLPRIVILEGESON*.*TOradar;断电重启改造官方的docker启动脚本主要涉及到给root设置密码之后be添加到fe时的操作。# 添加自己到feattempt_add_self(){# 第一次尝试执行命令output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot --skip-column-names--batch-eALTER SYSTEM ADD BACKEND\$MY_SELF:$HEARTBEAT_PORT\;)if[$?-ne0];then# 如果第一次失败添加密码log_stderr使用密码进行尝试连接来添加be到feoutput$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot -p$MYSQL_ROOT_PW --skip-column-names--batch-eALTER SYSTEM ADD BACKEND\$MY_SELF:$HEARTBEAT_PORT\;)fiecho$output}# 查看存在的beshow_backends(){#先尝试无密码连接output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot --skip-column-names--batch-eSHOW BACKENDS;)if[$?-ne0];thenlog_stderr使用密码进行尝试连接检查be的状态# 如果无密码连接失败则使用密码进行连接output$(timeout15mysql --connect-timeout2-h$svc-P$FE_QUERY_PORT-uroot -p$MYSQL_ROOT_PW --skip-column-names--batch-eSHOW BACKENDS;)fiecho$output}扩容 BE 集群be的启动脚本天然支持容器启动时就会将自己加入到Fe中所以新增时正常启动docker compose即可如下示例starrocks-be-3::*starrocks-be-commonhostname:starrocks-be-3container_name:starrocks-be-3volumes:-./starrocks/be-3/storage:/opt/starrocks/be/storage:rw-./starrocks/be-3/log:/opt/starrocks/be/log:rw-./sr/bin:/data/starrocks:rwx