rkt 磁盘数据格式解析：/var/lib/rkt 下 CAS 镜像存储与 Pod 目录布局

容器运行时云原生网络【免费下载链接】rkt[Project ended] rkt is a pod-native container engine for Linux. It is composable, secure, and built on standards.项目地址https://gitcode.com/gh_mirrors/rk/rkt点击查看免费下载本文基于 rkt 的开发者文档 on-disk-format.md 展开系统讲解 rkt 数据目录/var/lib/rkt的磁盘组织方式CASContent-Addressable Storage内容可寻址存储中 blob、镜像元数据与元数据库的布局及 schema 迁移机制以及 Pod 在pods/下各状态子目录中的存放规则并结合 store/imagestore、pkg/pod/pods.go 等源码说明每个目录、文件和锁的真实作用帮助读者在排查存储占用、理解镜像去重与 Pod 生命周期落盘机制时有的放矢。数据目录总览除非另行配置rkt 的所有运行时数据都存放在/var/lib/rkt下。这个位置可以通过rktKind为paths的配置文件修改也可以在命令行用--dir选项临时覆盖详见 configuration.md 中 paths 一节。从源码与文档交叉验证数据目录下主要有两大块内容顶层目录用途稳定性要求/var/lib/rkt/cas/镜像内容可寻址存储CAS镜像 blob、镜像 manifest、元数据库最关键跨版本必须保持兼容/var/lib/rkt/pods/所有 Pod 的落盘目录按生命周期状态分子目录希望稳定但优先级低于 CAS此外stage1 镜像的搜索目录stage1-images是独立于 CAS 的另一路径由paths配置的stage1-images字段定义不在本数据目录的 CAS 结构之内。数据目录位置的确定--dir与paths配置数据目录的最终取值在 rkt/rkt.go 的calculateDataDir()中完成优先级如下如果命令行显式传了--dir直接使用globalFlags.Dir否则回落到paths配置中的data字段否则使用默认的/var/lib/rkt。paths配置文件的解析逻辑见 rkt/config/paths.go有几个值得注意的实现细节配置文件必须放在paths.d子目录系统目录为/usr/lib/rkt/paths.d本地目录为/etc/rkt/paths.dinit()中通过registerSubDir(paths.d, []string{paths})注册data与stage1-images两个字段都必须是绝对路径否则报data directory must be an absolute path错误同一字段如果在多个配置文件中重复出现会报data directory is already specified这与 configuration.md 描述的“同目录内重复定义即语法错误”语义一致。一个典型的本地覆盖配置{ rktKind: paths, rktVersion: v1, data: /home/me/rkt/data, stage1-images: /home/me/rkt/stage1-images }CAS内容可寻址存储的内部结构CAS 是 rkt 存放 ACI 镜像的地方位于/var/lib/rkt/cas/。从 store/imagestore/store.go 的NewStore()可以看到一个完整的 CAS 实际上由以下几个部分组成目录内容来源cas/blob/解压后的 ACI tar 本体diskv 存储blobcas/imageManifest/每个镜像的 ImageManifest JSONdiskv 存储imageManifestcas/db/元数据库ql.db单文件store/dbcas/imagelocks/按镜像 key 粒度的锁文件目录NewStore()中创建cas/tmp/写入过程中的临时文件TmpDir()中按需创建cas/db-backups/数据库 schema 迁移前的自动备份backupDB()镜像 key 与目录分片镜像在 CAS 中的 key 由 key 前缀加哈希构成。store.go 的常量区 定义了前缀固定为sha512-完整 key 只取 SHA-512 摘要的前一半32 个十六进制字符注释说明这是为了避免过长的文件路径minlenKey要求至少形如sha512-aa。哈希的对象是解压后的 ACI而非压缩文件WriteACI() 先把 ACI 解压写入临时文件同时用io.TeeReader计算 sha512再以该哈希作为 key 导入 blob 存储。这也意味着同一镜像无论以何种压缩方式获取只要内容相同就落盘为同一份数据实现了天然去重。磁盘上的实际分片由 utils.go 的 blockTransform() 决定把 key 拆成算法名与前两个十六进制字符例如sha512-ab...会被分片到sha512/ab/之下类似 git 的对象库布局避免单目录文件数过多。元数据库schema、版本与迁移CAS 数据库存储在/var/lib/rkt/cas/db即单文件数据库ql.db见 store/db/db.go 中的DbFilename常量。数据库引擎是 Go 实现的 ql由于它不支持多进程并发写DB.Do() 的注释明确说明每个事务都要先对数据库目录取排他锁然后“打开、执行、提交、关闭”因此事务必须尽量短。store/imagestore/schema.go 定义了当前 schema 版本为7并给出建库语句核心有三张表version(version int)记录数据库版本remote(aciurl, sigurl, etag, blobkey, cachemaxage, downloadtime)记录某个 ACI URL 到 blob key 的映射及缓存元信息aciurl上有唯一索引aciinfo(blobkey, name, importtime, lastused, latest, size, treestoresize)镜像的元信息blobkey唯一索引与 blob 存储的 key 一一对应name上有普通索引以支持按名查询。版本迁移机制正是原文档提到的“数据库 schema 可迁移到更新版本”的实现NewStore()读取version表若低于当前dbVersion则置needsMigrate若高于当前版本则直接报错拒绝使用迁移前先用 backupDB() 把数据库目录备份到db-backups/最多保留 5 份backupsNumber 5且要求 root 权限否则返回ErrDBUpdateNeedsRoot提示需要以 root 重新运行来完成迁移迁移在 migrate.go 中按migrateTable从 v1 到 v7 逐级执行migrateToV2~migrateToV7每升一级提交一次版本号且整个迁移过程持有 CAS 级排他锁防止与旧版本 rkt 并发访问时互相破坏。锁模型CAS 内有两层锁均基于 advisory flock整库级NewStore()打开时先对 CAS 根目录取共享锁storeLock.SharedLock()迁移时升级为排他锁。源码注释解释了这个设计的动机如果旧版本 rkt 正在使用旧格式数据库而新版本触发迁移迁移后旧进程会因期望另一种 db 格式而失败或行为异常因此迁移前必须独占整个存储镜像级imagelocks/下按 key 加锁读路径ReadStream、GetImageManifestJSON取共享键锁写路径WriteACI、RemoveACI取排他键锁。稳定性承诺原文档对 CAS 提出了明确的一致性约束为保证 CAS 稳定rkt不得删除cas/下这些目录也不得对其做破坏性变更后续版本的 rkt 会保持对旧 CAS 的兼容性。从代码看这一承诺落在三处迁移机制保证 schema 可平滑升级、RemoveACI()采用“先删数据库记录、再尽力删非事务性文件”的顺序非事务文件删除失败会返回StoreRemovalError留下可被后续清理的残留数据以及上面提到的迁移前自动备份。Pods 目录按生命周期状态分区的落盘布局Pod 存放在/var/lib/rkt/pods/下具体状态机在 pod-lifecycle.md 中详述。pkg/pod/pods.go 中的目录构造函数与initPods()共同确定了固定的六个子目录权限 0750子目录含义锁语义pods/embryo/$uuid刚创建、尚未加锁重命名的“胚胎”阶段无锁含义pods/prepare/$uuid准备中排他锁 preparing无锁 准备失败pods/prepared/$uuid已就绪、等待运行无锁含义pods/run/$uuid已启动排他锁 running无锁 已退出pods/exited-garbage/$uuid已退出并被rkt gc标记排他锁 正在删除无锁 等待宽限期pods/garbage/$uuid从未运行成功的失败 Pod排他锁 正在删除无锁 已标记垃圾rkt 没有守护进程因此用“目录位置 advisory 锁”的组合同时表达 Pod 的阶段与进程绑定状态运行中的 Pod 目录由 systemd-nspawn 进程以打开的 fd 持有排他锁进程一旦退出内核自动关闭 fd、释放锁Pod 即变为“已退出”。rkt gc采用 mark-and-sweep先把可加共享锁说明已退出的run目录 rename 到exited-garbage完成标记再在宽限期默认 30 分钟可用rkt gc --grace-period调整到期后执行 stage1 的 gc 入口并递归删除目录。getPod()与refreshState()pods.go按embryo - prepare - prepared - run - exited-garbage - garbage的顺序探测 UUID 出现在哪个目录再通过尝试加共享锁区分“running / exited”“preparing / aborted prepare”“deleting / marked”等细分状态这与文档中两张状态表完全对应。Pod 目录内的关键文件从 Pod 的方法实现 可以看到 Pod 目录内还落盘了若干小文件供外部查询状态使用podPod manifest 原文PodManifest()直接读取并反序列化pod-createdCreationTime()读取其 mtime 作为创建时间rkt v1.20 之前回退到pod文件的 mtime 以兼容旧数据pid/ppidstage1 运行期写入StartTime()读取其 mtime 作为启动时间网络信息netinfogetPod()中通过netinfo.LoadAt()读取--nethost时不存在属正常情况。对于 prepared 与已退出的 Pod原文档的稳定性表述是“期望稳定但没那么关键desirable, but not as critical as the CAS”——CAS 因为承载全局共享的镜像数据任何破坏都会影响所有 Pod而 Pod 目录内的 prepared/退出态数据只影响单个 Pod可以整体删除后重新 prepare。配置数据的独立存放原文档最后一节指出rkt 自身的配置不属于数据目录的范畴其磁盘格式单独记录在 configuration.md 中系统目录/usr/lib/rkt只读、本地目录/etc/rkt、可选的用户目录均以.json文件按rktKind/rktVersion组织。理解这一点有助于区分运维场景下的“数据迁移”与“配置迁移”移动/var/lib/rkt时用--dir或paths配置指回新位置即可而认证凭据、默认 stage1 等配置需要另行拷贝。小结这份磁盘格式给运维带来的可预期性综合原文档与源码可以归纳出 rkt 磁盘格式的三条设计主线数据目录可整体搬迁--dir优先、paths.d配置次之calculateDataDir()rkt/rkt.go保证了取值链路单一CAS 是长期资产key 只取 SHA-512 前半部分以控制路径长度、block 分片避免目录膨胀、schema 带版本号且迁移前强制 root 并自动备份都指向“镜像存储可以跨 rkt 版本安全复用”这一目标Pod 是短期状态六个子目录加锁语义把生命周期直接物化为目录树rkt list/rkt status/rkt gc等命令无需任何索引数据库仅靠目录探测与共享/排他锁探测即可并发安全地工作。排查存储占用时重点看cas/blob镜像本体通常占大头与pods/exited-garbage、pods/garbage未回收的退出 Pod需要长期保留数据而升级 rkt 时关注cas/db的 schema 版本当前为 7与db-backups中的备份即可。赞分享容器运行时云原生网络【免费下载链接】rkt[Project ended] rkt is a pod-native container engine for Linux. It is composable, secure, and built on standards.项目地址https://gitcode.com/gh_mirrors/rk/rkt点击查看免费下载相关推荐rkt容器存储技术选型分布式存储与云存储对比rkt容器存储技术选型分布式存储与云存储对比 在容器化部署中存储方案的选择直接影响系统的可用性、性能和扩展性。rkt作为一款轻量级容器引擎提供了灵活的存储容器运行时云原生网络海尔智能家居让HomeAssistant成为你的全屋智能指挥官海尔智能家居让HomeAssistant成为你的全屋智能指挥官 想象一下当你清晨醒来卧室空调自动调至舒适温度热水器已为你准备好温暖的热水智能窗帘缓缓拉智能家居物联网rkt容器镜像仓库监控告警存储容量与性能告警rkt容器镜像仓库监控告警存储容量与性能告警 一、为什么需要监控容器镜像仓库 你是否遇到过这样的情况生产环境中rkt容器突然无法启动排查后发现是镜像仓库容器运行时云原生网络上一篇LegacyUpdate让老旧Windows系统重获更新支持的终极方案下一篇终极解决方案在Windows平台上快速部署轻量级容器化应用的完整指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考