clawd-throttle

🏎️ AI成本优化智能路由引擎

🥥77总安装量 16评分人数 10
100% 的用户推荐

支持8大LLM提供商25+模型的智能路由工具,通过8维亚毫秒级评分系统自动选择最优性价比模型,在保障隐私的前提下显著降低API成本。

A

基本安全,请在特定环境下使用

  • 来自社区或个人来源,建议先隔离验证
  • ✅ 代码安全规范:无 `eval()`/`exec()`/动态代码加载,使用标准 fetch API 进行网络请求
  • ✅ 隐私保护措施完善:Prompt 内容使用 SHA-256 哈希记录,不存储原文;API 密钥显示时脱敏;所有数据本地存储不上传
  • ✅ 依赖可靠且版本锁定:使用官方 MCP SDK 和 Zod 验证库,无动态远程模块加载
  • ⚠️ 需配置外部 LLM 提供商 API 密钥,并会向用户配置的第三方服务商发送网络请求
  • ⚠️ 日志文件存储于本地 `~/.config/clawd-throttle/`,需定期审查管理

使用说明

Clawd Throttle 是一款专为 LLM 成本优化设计的智能路由中间件,能够在 Anthropic、Google、OpenAI、xAI、DeepSeek、Moonshot、Mistral 和 Ollama 八大提供商的 25 个以上模型中,自动为每个请求匹配最便宜且能力足够的模型。其核心机制基于一套 8 维评分系统(涵盖 token 数量、代码存在性、推理标记、问题复杂度、对话深度等指标),可在 1 毫秒内完成提示词分类,并映射至 eco、standard、gigachad 三种路由模式对应的模型层级,避免为简单查询支付 Opus 级别的高昂费用。

该工具提供完整的功能集,包括智能路由请求、提示词复杂度预检、成本统计追踪、运行时模式切换等命令,支持通过快捷指令强制指定特定模型,并针对子代理调用和心跳检测自动优化路由策略。所有决策日志和成本数据均以 JSONL 格式存储于本地,便于后续审计和分析。

显著优势在于其极致的成本优化能力和透明性。通过智能分层路由,用户可节省大量 API 费用,而亚毫秒级的分类器确保路由决策不会成为性能瓶颈。隐私保护方面表现突出:仅记录 SHA-256 哈希值而不存储原始提示内容,所有数据本地存储,API 密钥在配置显示时自动脱敏,充分保障数据主权。

局限性方面,作为 T3 级个人开发者开源项目,其长期维护稳定性和企业级支持保障相对有限。用户需要自行申请并管理多个平台的 API 密钥,初始配置门槛较高。此外,工具依赖外部网络请求,在完全隔离的离线环境中无法使用(除非纯本地 Ollama 模式),且路由算法的"最优"判断基于成本优先策略,可能对特定复杂场景的模型能力匹配存在偏差。

该工具最适合需要频繁调用多种 LLM API 的开发者、AI 应用团队、成本敏感的初创企业,以及注重数据隐私希望保留本地控制权的用户。对于生产环境高安全要求场景,建议在使用前进行额外的安全审计。

使用风险主要包括:多平台 API 密钥管理增加了潜在的凭证泄露面;虽然代码本身无恶意行为,但需信任个人开发者的代码更新源;长期运行的本地日志文件可能积累敏感元数据;以及依赖项(@modelcontextprotocol/sdk 等)的供应链安全风险。建议优先通过环境变量配置密钥,避免写入配置文件,并定期审查本地日志目录的访问权限。

clawd-throttle 内容

文件夹图标data文件夹
文件夹图标scripts文件夹
文件夹图标src文件夹
文件夹图标classifier文件夹
文件夹图标config文件夹
文件夹图标logging文件夹
文件夹图标proxy文件夹
文件夹图标router文件夹
文件夹图标server文件夹
文件夹图标utils文件夹
文件夹图标tests文件夹
文件夹图标unit文件夹
文件夹图标classifier文件夹
文件夹图标logging文件夹
文件夹图标proxy文件夹
文件夹图标router文件夹
文件夹图标server文件夹
手动下载zip · 58.4 kB
classifier-weights.jsonapplication/json
请选择文件