首页/新闻资讯/正文详情

第 22-3 篇:vllm_mgr.py——进程守护与看门狗

发布时间:2026/9/27 22:50:49 来源:云帆数科 栏目:资讯中心
第 22-3 篇:vllm_mgr.py——进程守护与看门狗
上一篇22-2《/admin API——状态、配置、加载、转换》下一篇23-1《国密 SM3——KAT 红线先于实现》只读验证篇本文仅板端 --help/status 只读实测未对运行中的引擎演示 start/stop/kill诚实边界见文内一句话导读vllm_mgr 进程守护与看门狗读 start/stop/restart、状态轮询与进程名精确匹配的坑诚实边界是——本文仅板端只读验证未对运行中的引擎演示启停操作。关键词vllm_mgr、进程守护、看门狗、start/stop、RK3588admin API 是手动挡tools/vllm_mgr.py是自动挡一个stdlib-only的进程守护负责 start/stop/restart、状态页、NPU 自检子进程。这篇读它的进程管理逻辑与精确匹配进程名的坑并交代清楚守护工具本身只该在部署机上跑教程的启停实验要由你在自己的板上执行——我们这轮没有对着正在服务的引擎演示 kill。1. 知识点看门狗要回答的四个问题进程守护的本质是四个问题怎么启动nohup拉起引擎子进程日志重定向怎么知道它还活着轮询/health//admin/api/status的 HTTP 状态而不是只看进程表死了怎么办按配置自动拉起或至少让你一条命令 restart停SIGTERM 优雅停 → 超时 SIGKILL两级降级。引擎还有一个特殊的守护需求/admin/api/config/save落盘的配置文件是 mgr 的启动依据vllm_mgr.py第 5–10 行注释配置由 admin 页写、mgr 按它启停——这样你在网页上改的配置重启后依然生效闭环成立。2. 对应代码mgr 的进程语义tools/vllm_mgr.py头注释12–25 行把用法与配置 schema 写得很完整usage: vllm_mgr.py [-h] [--serve [SERVE]] [{start,stop,restart,status,selftest,serve}] config schema由 /admin/api/config/save 写入: { model_dir: ..., wmode: q4, port: 8080, threads: 8, npu: true, ..., env: {OMP_NUM_THREADS: 4} }start/stop/restartnohup 进程表管理stop 先 SIGTERM 再 SIGKILL15–17 行注释selftest跑--npu-calib子进程并回读结果serve一个纯 stdlib 的 HTTP 状态页默认 8082 端口ThreadingHTTPServer——admin 页在引擎关机后靠它知道守护还活着、可以点启动。进程名精确匹配的坑本项目文档与代码反复强调守护脚本如果用pgrep vllm_kestrel这类宽匹配很容易把自己的命令行/同名前缀进程算进去bash -c pkill vllm_kestrel这种自匹配在 Day 11–17 的板端实验里反复出现退出码被误杀成 -1。成熟做法是匹配完整可执行路径或精确进程名 PID 白名单并在stop前先确认 PID 属于引擎而不是守护自身。3. 改动后果工具实测与不该做什么实测口径板端 RK3588 / 2026-09-07。只做只读实测。$ python3 tools/vllm_mgr.py --help usage: vllm_mgr.py [-h] [--serve [SERVE]] [{start,stop,restart,status,selftest,serve}] vllm_kestrel supervisor positional arguments: {start,stop,restart,status,selftest,serve} options: -h, --help ... --serve [SERVE] run the HTTP supervisor (default port 8082)为什么这轮不演示 start/stop引擎正在为本系列的 HTTP/多模态实验服务22-2 的uptime_s还在涨。对着活引擎演示 kill → 拉起会打断实验且无收益守护语义的正确验证方式是在独立的部署机上或专门开一个测试端口实例执行。留给学员的任务里包含完整步骤。这一节本身想强调的改动后果是反面纪律如果你在共享/生产实例上随手vllm_mgr.py restart会踩中三类问题——配置没save导致重启后配置回滚、宽匹配误杀守护自身、以及 SIGKILL 时 KV/磁盘状态没落盘Day 12 的 disk-kv 恢复机制就是为这种断电场景兜底的。4. 学员调试任务A 档板端动手需独立实例复制一份引擎与模型配置用--port 8802起第二个测试实例不碰生产实例用vllm_mgr.py status看它如何判定活着读源码找它探的是哪个端点/文件stop→ 观察日志里的 SIGTERM 收尾输出 →start→status确认拉起再模拟一次kill -9 pid看守护或手动 restart如何恢复故意把pgrep匹配改宽如pgrep -f vllm复现误杀守护自身的坑并记录。B 档纯读源码读vllm_mgr.py的 stop/start 与状态判定回答① stop 的 SIGTERM→SIGKILL 两级降级在什么条件下触发、为什么不能只用 SIGKILL②serve模式的状态页与引擎/admin状态页是什么关系谁依赖谁③ mgr 与/admin/api/config/save的写配置 → 按配置启动闭环里如果配置文件损坏JSON 解析失败mgr 会怎么处理——读代码找错误分支。预期输出一次在独立实例上完成的 start/stop/restart 闭环日志外加一张守护设计四问的自我检查表。收尾本篇源码点名vllm_mgr.py进程语义 12–25、stop/start 实现开源仓库Kestrel-LLM (Gitee)AGPL-3.0-or-later 或商业许可二选一下篇预告引擎能跑、能服务、能被守护了。Day 23 起进安全专题第一课国密 SM3——为什么先有标准答案KAT 向量再写实现是密码学的第一纪律。

相关推荐

AI 回答如何做 A/B 测试:流量分组、护栏指标、显著性与快速回滚
AI 回答如何做 A/B 测试:流量分组、护栏指标、显著性与快速回滚

把新提示词和旧提示词各跑一遍,再比较平均分,看起来像 A/B 测试;但这通常只能算离线对比。真实线上实验面对的是用户反复访问、同一会话多轮对话、模型随机输出、检索库变化、限流与超时,以及“回答更好但成本翻倍”这种多目标冲突… · 2026/9/27 22:50:43

世界模型:概念、应用与 LLM、深度强化学习的融合
世界模型:概念、应用与 LLM、深度强化学习的融合

1. 引言 近年来,人工智能领域最受关注的话题之一便是「世界模型」(World Model)。从自动驾驶到机器人控制,从游戏 AI 到多模态大模型,世界模型正在成为连接感知、认知与决策的核心枢纽。那么,什么是世界模型… · 2026/9/27 22:50:43

干货:按规则定位取值
干货:按规则定位取值

按 Material 规则精准定位取值:SignLocal/ValueLocal 寻址 问题:元素值在表里的位置不固定 识别的表格里,同一个元素"Fe",可能在不同的行、不同的列,甚至符号和值分居两格。硬编码坐标根本扛不住。 第一性原… · 2026/9/27 22:50:43

磁县网站制作公司选型一文搞懂:改需求慢的3种技术根源
磁县网站制作公司选型一文搞懂:改需求慢的3种技术根源

磁县网站制作公司选型一文搞懂:改需求慢的3种技术根源 改个按钮颜色,建站公司拖一周才给反馈?这种憋屈感,很多磁县本地企业老板都尝过。别急着骂人,先看看他们用的是啥技术栈。很多“慢”不是态度问题,是技术债压身。本文不聊虚的,直接拆解三种主流建… · 2026/9/28 0:35:18

时尚网站建设到底多少钱?搞定备案不踩坑的报价全解析
时尚网站建设到底多少钱?搞定备案不踩坑的报价全解析

时尚网站建设到底多少钱?搞定备案不踩坑的报价全解析 刚接了个做服装品牌的单子,老板第一句话就问:“我想做个高大上的时尚官网,到底多少钱?还有,那个ICP备案流程我是一头雾水,怕耽误上线。”… · 2026/9/28 0:35:05

信誉好的广州外贸网站2026最新
信誉好的广州外贸网站2026最新

避坑指南:3个广州外贸网站实战案例揭秘信誉好的建站逻辑 别再看那些千篇一律的模板站了,真的,太丑且不够用。很多广州做跨境的朋友跟我吐槽,花了几千块做的站,连个像样的询盘都接不住,客户打开看一眼就关掉,觉得这公司不靠谱。我干了十年建站,见过太… · 2026/9/28 0:34:11

3款wordpress群发插件对比评测,告别手动复制粘贴
3款wordpress群发插件对比评测,告别手动复制粘贴

3款wordpress群发插件对比评测,告别手动复制粘贴 改个需求建站公司拖一周,这种憋屈谁懂?以前我接私单,客户要发100封营销邮件,我盯着浏览器手动填收件人,手都抽筋了。直到我深入研究了几款主流的wordpress群发插件,才发现原来效… · 2026/9/28 0:34:05

百度搜索引擎关键词优化实战:3个免费工具搞定流量与转化
百度搜索引擎关键词优化实战:3个免费工具搞定流量与转化

百度搜索引擎关键词优化实战:3个免费工具搞定流量与转化 别再用那些一眼假、排版乱、加载慢的模板网站了。客户打开你的官网,3秒内看不到核心价值,直接关页,连注册邮箱的机会都不给。这时候你才意识到, 模板网站太丑不够用… · 2026/9/28 0:33:34

做网站凡科如何避坑指南:5个实战问题拆解
做网站凡科如何避坑指南:5个实战问题拆解

做网站凡科如何避坑指南:5个实战问题拆解 模板网站看起来挺快,但上线后才发现丑得没眼看,功能还卡得让人想砸键盘。很多老板第一反应就是找凡科这类SaaS平台,觉得省事。但这篇 做网站凡科如何… · 2026/9/28 0:33:34

MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现
MATLAB雷达信号脉冲压缩仿真:LFM线性调频、匹配滤波与距离分辨率实现

简介:这套Matlab仿真工具完整呈现雷达信号脉冲压缩过程,从线性调频(LFM)信号生成、目标回波仿真到匹配滤波压缩处理均有可运行代码支撑,面向电子信息工程、计算机、数学等专业学生,适用于课程设计、期末大作… · 2026/9/27 0:00:01

汕头网站建设制作厂家避坑指南:5大注意事项救急
汕头网站建设制作厂家避坑指南:5大注意事项救急

汕头网站建设制作厂家避坑指南:5大注意事项救急 改个需求建站公司拖一周,这种憋屈事我见得太多了。 很多汕头老板找本地建站团队,签合同前看着方案挺美,一上线就变脸。 今天不聊虚的,直接拆解找 汕头网站建设制作厂家 时的5个核心 注意事项… · 2026/9/27 0:00:01

多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习
多模态虚假新闻检测实战:BERT+ResNet双塔与对比学习

简介:基于PyTorch的多模态虚假新闻检测项目完整代码包,面向自然语言处理与计算机视觉交叉方向的开发者、科研人员及毕业设计选题者,解决社交媒体中文本与图像联合识别虚假新闻的问题。系统以BERT预训练模型提取文本语义特征,以Res… · 2026/9/27 0:00:01

制作网页比较方便的软件怎么选?一文搞懂避坑指南
制作网页比较方便的软件怎么选?一文搞懂避坑指南

制作网页比较方便的软件怎么选?一文搞懂避坑指南 很多老板一上来就问:做个网站多少钱?但我反问他:你的域名买了吗?服务器租了吗?他一脸懵。这就是典型的“域名服务器搞不懂”。别急,今天咱们不聊虚的,直接 一文搞懂 那些让你头秃的技术名词。… · 2026/9/28 0:00:06

婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量
婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量

婚恋网站实战案例:避开3个高价坑,省钱50%还能跑赢流量 找婚恋网站建站公司,最怕的就是被坑高价。很多同行跟我吐槽,报价单上写得模棱两可,功能栏里全是“高级定制”、“专属UI”,结果落地全是套壳。今天不聊虚的,直接甩几个我经手的 实战案例… · 2026/9/28 0:00:19

济南做网站多少钱:3个案例拆解,防黑源码下载全攻略
济南做网站多少钱:3个案例拆解,防黑源码下载全攻略

济南做网站多少钱:3个案例拆解,防黑源码下载全攻略 上周济南一个做建材的老板找我,脸都绿了。他的官网首页弹出了赌博广告,后台被植入了挖矿脚本。他慌得问我:“网站被黑挂马不知道怎么办?能不能直接找之前的外包公司要源码下载,看看哪里被动了手脚?… · 2026/9/28 0:00:25

了解更多?预约专属演示

我们的顾问将为您一对一讲解产品与方案

企业微信二维码