OpenClaw模型监控：Kimi-VL-A3B-Thinking服务健康检查方案

OpenClaw模型监控Kimi-VL-A3B-Thinking服务健康检查方案1. 为什么需要模型监控上周我的自动化工作流突然中断了——OpenClaw在凌晨3点尝试调用Kimi-VL-A3B-Thinking模型处理一批图片时整个流程卡死了6个小时。第二天检查才发现是vllm服务意外崩溃而系统没有任何告警通知。这次事故让我意识到模型服务不是部署完就万事大吉特别是当OpenClaw需要7×24小时调用时基础监控体系必不可少。与传统的Web服务不同多模态模型服务有三大特殊监控需求显存泄漏风险长时间运行的视觉模型容易积累显存碎片请求延迟波动图文混合输入会导致响应时间不稳定服务存活敏感vllm崩溃后不会自动恢复直接影响OpenClaw任务链经过两周的实践我总结出一套轻量但有效的监控方案不需要复杂的基础设施就能实现核心指标的实时把控。2. 基础监控架构设计2.1 整体思路我的监控方案围绕三个核心指标展开服务存活检测每分钟检查vllm的HTTP端口是否响应显存占用监控每5分钟记录GPU显存使用量请求延迟日志记录每个API调用的响应时间所有数据通过简单的Shell脚本采集存储在本地CSV文件中配合crontab实现定时任务。当指标异常时通过企业微信机器人发送告警。2.2 技术选型考量作为个人开发者我排除了PrometheusGrafana等重型方案选择最轻量的技术组合基础采集curl nvidia-smi jq调度引擎系统自带crontab告警通道企业微信webhook与OpenClaw共用配置数据存储本地CSV文件logrotate滚动清理这种方案虽然简陋但完全满足单机部署场景的需求且零额外依赖。3. 具体实现步骤3.1 服务存活检测创建/opt/monitor/check_vllm.sh脚本#!/bin/bash API_URLhttp://localhost:8000/health TIMEOUT10 LOG_FILE/var/log/vllm_monitor.log response$(curl -s -o /dev/null -w %{http_code} --max-time $TIMEOUT $API_URL) timestamp$(date %Y-%m-%d %H:%M:%S) if [ $response ! 200 ]; then echo [$timestamp] ERROR: vllm service down (code$response) $LOG_FILE # 调用企业微信告警 curl -X POST https://qyapi.weixin.qq.com/cgi-bin/webhook/send?keyYOUR_KEY \ -H Content-Type: application/json \ -d {msgtype:text,text:{content:[紧急]vllm服务异常请立即检查}} else echo [$timestamp] INFO: vllm service healthy $LOG_FILE fi给脚本添加执行权限并测试chmod x /opt/monitor/check_vllm.sh /opt/monitor/check_vllm.sh tail -f /var/log/vllm_monitor.log3.2 显存占用监控创建/opt/monitor/gpu_mem.sh#!/bin/bash LOG_FILE/var/log/gpu_mem.csv # 初始化CSV文件头 if [ ! -f $LOG_FILE ]; then echo timestamp,used_mem_mb,total_mem_mb $LOG_FILE fi # 获取显存数据 data$(nvidia-smi --query-gpumemory.used,memory.total --formatcsv,noheader,nounits | tr -d ) # 记录数据 echo $(date %Y-%m-%d %H:%M:%S),$data $LOG_FILE # 检查显存使用率超过90%时告警 used$(echo $data | cut -d, -f1) total$(echo $data | cut -d, -f2) threshold$((total * 90 / 100)) if [ $used -gt $threshold ]; then curl -X POST https://qyapi.weixin.qq.com/cgi-bin/webhook/send?keyYOUR_KEY \ -H Content-Type: application/json \ -d {msgtype:text,text:{content:[警告]GPU显存使用超过90%当前使用: $usedMB}} fi3.3 请求延迟日志修改OpenClaw的模型配置文件~/.openclaw/openclaw.json在对应模型provider下增加日志拦截器{ models: { providers: { kimi-vl: { baseUrl: http://localhost:8000/v1, interceptors: { response: [ { type: log, config: { path: /var/log/model_latency.log, format: timestamp$timestamp, latency${latency}ms, status${status} } } ] } } } } }记得重启OpenClaw网关使配置生效openclaw gateway restart4. 定时任务配置使用crontab -e添加以下任务# 每分钟检查服务存活 * * * * * /opt/monitor/check_vllm.sh # 每5分钟记录显存使用 */5 * * * * /opt/monitor/gpu_mem.sh # 每天凌晨清理30天前的日志 0 0 * * * find /var/log/ -name vllm_monitor.log* -mtime 30 -exec rm {} \;5. 告警优化实践初期我的告警太过频繁后来通过以下策略优化分级告警服务宕机立即通知企业微信短信转发显存超限工作日工作时间通知延迟波动仅记录不主动告警防抖动机制# 在check_vllm.sh开头添加 if [ -f /tmp/vllm_down_flag ] [ $(find /tmp/vllm_down_flag -mmin 30) ]; then rm /tmp/vllm_down_flag elif [ -f /tmp/vllm_down_flag ]; then exit 0 # 30分钟内不重复告警 fi # 在触发告警后执行 touch /tmp/vllm_down_flag状态恢复通知# 在check_vllm.sh的else分支添加 if [ -f /tmp/vllm_down_flag ]; then curl -X POST https://qyapi.weixin.qq.com/cgi-bin/webhook/send?keyYOUR_KEY \ -H Content-Type: application/json \ -d {msgtype:text,text:{content:[恢复]vllm服务已恢复正常}} rm /tmp/vllm_down_flag fi6. 监控数据可视化虽然不用Grafana但可以用Python脚本生成简易报表import pandas as pd import matplotlib.pyplot as plt # 读取显存数据 df pd.read_csv(/var/log/gpu_mem.csv) df[timestamp] pd.to_datetime(df[timestamp]) df[usage] df[used_mem_mb] / df[total_mem_mb] * 100 # 生成趋势图 plt.figure(figsize(12, 6)) plt.plot(df[timestamp], df[usage], labelGPU Memory Usage %) plt.axhline(y90, colorr, linestyle--, labelThreshold (90%)) plt.legend() plt.savefig(/var/www/html/gpu_usage.png)配合nginx可以随时查看最新图表sudo apt install nginx-light sudo ln -s /var/www/html /usr/share/nginx/html7. 与OpenClaw的集成技巧通过OpenClaw的system技能可以直接查询监控状态安装系统管理技能clawhub install system-monitor在对话中查询[用户] 当前模型服务状态如何 [OpenClaw] - 服务存活: 正常 (最后检查: 2024-03-15 14:00:01) - GPU显存: 7843/8192MB (95.7%) - 最近1小时平均延迟: 342ms添加自定义命令快捷方式 在~/.openclaw/custom_commands.json中添加{ check_model: { command: cat /var/log/vllm_monitor.log | tail -n 5, description: 检查模型服务最近状态 } }这套监控方案已经稳定运行两个月成功捕获了3次vllm崩溃事件和12次显存泄漏情况。虽然看起来简陋但对于保障OpenClaw自动化任务的连续性来说已经足够可靠。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。