llm-supervisor

核心用法

LLM Supervisor 是一个智能的模型调度中间件，专为解决云LLM服务（Anthropic、OpenAI）的速率限制和过载问题而设计。当检测到云端服务异常时，它会立即通知用户并提供本地Ollama模型的无缝切换方案。用户可通过 /llm status 实时查看当前运行状态，使用 /llm switch local 或 /llm switch cloud 手动切换模式。对于代码生成等高风险任务，系统强制要求用户显式确认（回复"yes"），而简单查询（聊天、摘要）在用户历史授权后可自动切换。

显著优点

优雅降级机制：不同于静默失败或无限重试，该技能将服务中断转化为可控的用户决策点，显著提升开发体验。安全优先设计：通过 CODE_INTENTS 白名单精确识别需确认的任务类型，避免本地模型在关键代码场景下的未经审核输出。完全本地化隐私：所有本地模型通信仅限于 127.0.0.1:11434，零数据外传风险。状态透明可控：会话级状态追踪（currentProvider、lastRateLimitAt、localConfirmedForCode）让用户始终掌握系统行为。零依赖轻量化：仅依赖平台标准 SDK，无第三方运行时依赖，部署简单可靠。

潜在缺点与局限性

环境依赖门槛：必须预先安装并运行 Ollama 服务，对新手用户存在配置成本。代码任务中断：强制确认机制虽保障安全，但在高频代码生成场景下可能打断工作流。模型能力落差：本地 7B 参数模型（默认 qwen2.5:7b）与云端大模型在复杂推理任务上存在性能差距。会话状态易失：状态数据仅存于内存，会话重启后重置为云端模式，需重新确认本地代码授权。单服务架构：仅支持 Ollama 作为本地后端，未兼容 llama.cpp、vLLM 等替代方案。

适合的目标群体

混合云本开发团队：需要平衡云端API成本与本地隐私合规的企业开发者。速率限制敏感用户：频繁触发云服务商配额上限的高频API调用者。代码安全审慎者：对AI生成代码持保守态度、坚持人工审查的安全意识强烈用户。离线/内网环境工作者：网络不稳定或需完全离线开发的特殊场景用户。AI应用原型开发者：需要快速验证多模型行为差异的产品经理和技术负责人。

使用风险

性能波动风险：本地模型推理速度显著低于云端API，长文本生成可能出现明显延迟。模型一致性风险：同一提示词在云/本地模型间可能产生语义差异输出，需人工校验关键结果。服务可用性风险：Ollama 进程崩溃或端口冲突将导致本地回退机制失效。确认疲劳风险：高频代码生成场景下重复确认可能降低用户警觉性，形成"习惯性点击"。配置漂移风险：默认模型配置与实际安装的Ollama模型不匹配时可能引发调用失败。