崖山数据库共享集群部署与高可用配置实战

1. 崖山共享集群部署实战从零到高可用的完整指南最近在测试崖山数据库新推出的共享集群功能作为一款国产分布式数据库崖山DB在金融、电信等行业有着广泛应用。这次我选择用命令行方式完成安装部署相比图形化界面命令行更适合批量操作和自动化运维。整个过程踩了不少坑也积累了一些实战经验在这里完整记录下来。2. 环境准备与系统配置2.1 硬件与操作系统要求崖山共享集群对操作系统有一定要求官方推荐使用RHEL/CentOS 7.4以上版本。我这次测试环境比较特殊节点1CentOS 7.9节点2RHEL 8.2 虽然官方建议使用统一操作系统但实测表明混搭环境也能正常运行只是需要特别注意内核参数的一致性。重要提示生产环境强烈建议使用相同版本的操作系统避免因系统差异导致不可预知的问题。2.2 系统参数调优数据库运行需要调整系统资源限制这些配置需要写入/etc/security/limits.confecho soft nofile 1048576 hard nofile 1048576 soft nproc 1048576 hard nproc 1048576 soft rss unlimited hard rss unlimited soft stack 8192 hard stack 8192 | sudo tee -a /etc/security/limits.conf这些参数的意义nofile单个进程可打开的文件描述符数量数据库需要大量文件操作nproc用户可创建的最大进程数rss进程可使用的最大内存设为unlimited不限制stack线程栈大小8MB足够大多数场景2.3 专用用户创建为崖山数据库创建专用系统用户是安全最佳实践useradd -d /home/yashan -m yashan passwd yashan然后配置sudo权限编辑/etc/sudoers文件添加yashan ALL(ALL) NOPASSWD:ALL安全提示生产环境应考虑限制sudo权限范围仅授予必要的命令权限。2.4 目录结构准备崖山DB需要特定的目录结构来存放程序和数据mkdir -p /data/yashan mkdir -p /home/yashan/install chown -R yashan:yashan /data/yashan chown -R yashan:yashan /home/yashan/install典型目录用途/data/yashan存放数据库数据文件、日志等/home/yashan/install存放安装包和部署文件3. 共享存储配置详解3.1 共享磁盘识别崖山共享集群依赖共享存储实现数据一致性。首先用lsblk查看磁盘设备lsblk关键是要确认哪些磁盘是共享存储通常通过SAN或iSCSI连接。在我的环境中有三块共享磁盘分别用于数据存储投票磁盘集群仲裁YCRYashan Cluster Registry3.2 UDEV规则配置使用UDEV规则可以确保磁盘设备名持久化避免重启后设备名变化。首先获取磁盘的SCSI IDfor i in cat /proc/partitions | awk {print $4} |grep sd; do echo ### $i: /usr/lib/udev/scsi_id -g -u -d /dev/$i; done然后创建UDEV规则文件/etc/udev/rules.d/yashan-device-rule.rulesKERNELsd*,ENV{ID_SERIAL}1494e53505552000032373630393730363731363631313939,SYMLINKyas/data,OWNERyashan,GROUPYASDBA,MODE0666,RUN/bin/sh -c chown -R yashan:yashan /dev/yas/data KERNELsd*,ENV{ID_SERIAL}1494e53505552000035353236313233303630383434383430,SYMLINKyas/vote,OWNERyashan,GROUPYASDBA,MODE0666,RUN/bin/sh -c chown -R yashan:yashan /dev/yas/vote KERNELsd*,ENV{ID_SERIAL}1494e53505552000034323336333837303432333238373136,SYMLINKyas/ycr,OWNERyashan,GROUPYASDBA,MODE0666,RUN/bin/sh -c chown -R yashan:yashan /dev/yas/ycr应用规则并验证/sbin/udevadm control --reload-rules /sbin/udevadm trigger --typedevices --actionchange ll /dev/yas3.3 共享存储注意事项PRPersistent Reservation支持真正的共享存储需要支持SCSI PR协议否则集群切换可能有问题。可以通过以下命令检查sg_persist -i /dev/sdX如果设备不支持PR在部署时需要添加-f参数强制跳过检查。多路径配置如果存储通过多条路径连接需要配置多路径软件如multipathd避免重复识别。性能考量共享存储的性能直接影响集群整体表现建议使用高性能SSD或NVMe设备。4. 崖山DB安装与配置4.1 软件包准备下载崖山DB安装包本例使用yashandb-23.4.6.100-linux-x86_64.tar.gz解压tar -zxvf yashandb-23.4.6.100-linux-x86_64.tar.gz -C /home/yashan/install4.2 生成部署配置文件进入安装目录使用yasboot工具生成部署配置cd /home/yashan/install ./bin/yasboot package ce gen \ --cluster yashandb \ -u yashan -p password \ --ip 172.16.3.78,172.16.3.23 \ --port 22 \ --install-path /data/yashan/yasdb_home \ --data-path /data/yashan/yasdb_data \ --log-path /data/yashan/log \ --begin-port 1688 \ --node 2 \ --disk-found-path /dev/yas \ --system-data /dev/yas/vote \ --data /dev/yas/data \ -f关键参数说明--cluster集群名称--ip集群节点IP列表--begin-port数据库服务起始端口号--node节点数量-f强制模式当存储不支持PR时需要4.3 执行安装安装过程分为两步软件安装./bin/yasboot package install -t hosts.toml集群部署./bin/yasboot cluster deploy -t yashandb.toml --yfs-force-create --sys-password your_password部署技巧可以使用--debug参数获取更详细的日志信息便于排查问题。4.4 环境变量配置在每个节点上配置环境变量cat /data/yashan/yasdb_home/******/conf/ljcdb.bashrc ~/.bashrc source ~/.bashrc4.5 集群状态检查使用以下命令检查集群状态yasboot cluster status -t yashandb.toml健康集群应该显示所有节点为ONLINE状态。5. 常见问题与解决方案5.1 PR检查失败现象生成部署文件时报错disk does not support PR in原因共享存储不支持SCSI Persistent Reservations解决方案确认存储确实支持共享访问在生成部署文件时添加-f参数跳过PR检查5.2 节点间SSH互信问题现象安装过程中SSH连接失败解决方案确保所有节点间已配置SSH免密登录检查防火墙设置开放SSH端口默认22验证sudo权限配置是否正确5.3 共享磁盘权限问题现象数据库无法访问共享磁盘设备解决方案确认UDEV规则已正确应用检查/dev/yas下的设备权限是否为yashan用户所有验证磁盘设备是否在所有节点上显示一致5.4 端口冲突现象服务启动失败提示端口被占用解决方案修改--begin-port参数使用不同的端口范围检查并关闭冲突的端口占用程序6. 运维管理与优化建议6.1 日常维护命令启动集群yasboot cluster start -t yashandb.toml停止集群yasboot cluster stop -t yashandb.toml查看节点状态yasnode status检查存储状态yasstorage status6.2 性能监控崖山DB提供了丰富的性能视图常用查询包括-- 查看会话信息 SELECT * FROM V$SESSION; -- 查看SQL执行统计 SELECT * FROM V$SQLAREA; -- 查看锁等待 SELECT * FROM V$LOCK_WAIT;6.3 备份策略共享集群环境下备份需要考虑数据一致性逻辑备份yasdump -u sys -p password -d dbname -f backup_file.dmp物理备份使用存储快照功能确保备份时集群处于一致状态6.4 扩展建议监控集成将崖山DB监控指标接入PrometheusGrafana自动化运维使用Ansible编写部署和维护脚本高可用测试定期模拟节点故障验证集群自动恢复能力这次部署崖山共享集群的经历让我深刻体会到国产数据库在功能完整性上已经达到了相当高的水平。命令行部署方式虽然初期学习曲线较陡但提供了更灵活的配置选项和更好的自动化支持。特别是在处理共享存储配置时理解底层原理对解决问题至关重要。