clawtv

核心用法

ClawTV 是一款将 AI 视觉能力与 Apple TV 遥控深度融合的智能家居工具。其核心工作流分为三层：最上层是 AI Agent 模式（`do` 命令），用户用自然语言描述目标（如"打开 Netflix 播放怪奇物语"），系统自动截取电视屏幕、调用 Claude Vision API 分析 UI 状态、决策下一步操作并执行遥控指令，形成"观察-思考-行动"的闭环，最多 20 步完成任务；中间层是 Plex 直连模式，识别到 Plex 相关指令时直接调用 Plex API 绕过视觉循环，实现秒级零成本播放；底层是 手动遥控模式（`cmd`/`/`type`/`/`launch`），提供传统遥控器按键、文本输入和应用启动能力，完全零 API 成本。

截图支持三种技术栈：QuickTime AirPlay 镜像（最快 0.6 秒，但 DRM 应用会强制断开）、Xcode 开发者截图（兼容 DRM，约 2.5 秒）、以及配套的 Lookout tvOS 应用（100 毫秒级，但仅限自身 UI）。系统通过自动降级策略平衡速度与兼容性。

显著优点

自然语言交互革命：彻底摆脱传统遥控器的方向键迷宫，老人儿童均可直接表达意图。视觉推理能自适应不同应用的 UI 变化，无需维护脆弱的 XPath 或坐标脚本。

成本智能优化：Plex 目标自动识别并走直连通道，仅 2 次 API 调用；视觉模式采用 Haiku 4.5 模型处理常规步骤，遇困自动升级 Sonnet 4.5；滑动窗口仅保留最近 2 张截图、JPEG 压缩至 800px 质量 50、系统提示缓存复用，综合降低 70% 以上 token 消耗。

隐私可控设计：手动命令完全不触碰外部 API，敏感操作可全程本地执行；截图本地留存便于审计；依赖均为成熟开源库（pyatv、plexapi），无黑箱组件。

生态开放：支持任意 tvOS 应用（通过 bundle ID 启动），Plex 集成兼容自建服务器与远程访问，架构上预留了 Lookout 等第三方截图后端扩展接口。

潜在缺点与局限性

DRM 内容壁垒：Netflix、Disney+、YouTube 等启用 HDCP 保护的应用会强制终止 QuickTime 镜像，导致视觉模式失效。虽可降级至 Xcode 方法，但 2.5 秒延迟显著降低 AI 决策流畅度，且需保持 Xcode 窗口常驻内存。

成本不可控风险：do 命令的循环机制理论上可能消耗全部 20 步（约 $0.10-0.20），若遇网络卡顿、UI 异常或目标未找到，费用产生但任务失败。虽有预算建议，但无硬性熔断机制。

截图隐私悖论：视觉模式的核心价值依赖屏幕内容上传，即使用户信任 Anthropic，截图中仍可能暴露观看历史、搜索偏好、甚至账户信息。本地存储的截图历史若未定期清理，亦构成隐私隐患。

macOS 生态锁定：依赖 QuickTime、AppleScript、Xcode 等苹果专属技术栈，Windows/Linux 用户无法使用；Apple TV 需与 Mac 处于同一局域网，无法远程控制。

凭证管理粗放：Plex Token 与设备配对凭证以明文 JSON 存储，虽受 Unix 权限保护，但无系统钥匙链集成，恶意进程以用户身份运行即可读取。

适合的目标群体

• Plex 自建媒体库用户：直连模式提供极致性价比的语音控制体验
• 智能家居极客：希望将 Apple TV 纳入 HomeKit/自动化工作流的技术爱好者
• 无障碍需求家庭：视力或操作不便成员可通过自然语言操控电视
• 开发与测试人员：需批量验证 tvOS 应用 UI 的自动化测试场景
• 隐私敏感型用户：愿意牺牲 AI 便利性，使用零成本手动命令完成核心操作

使用风险

性能依赖项：QuickTime 镜像会劫持电视音频至 Mac，且显示红色录制边框，必须通过 disconnect 命令恢复，遗忘将导致体验断裂。DRM 应用的自动降级可能因 Xcode 窗口未就绪而失败。

API 依赖稳定性：Anthropic 服务中断或速率限制将直接瘫痪 AI 模式，虽可回退手动命令，但丧失核心卖点。Claude 模型的视觉理解错误可能导致循环陷入死胡同。

网络拓扑敏感：Apple TV 休眠、WiFi 切换、防火墙规则变化均会中断 Companion 协议连接，需重新执行扫描-配对流程。

截图存储膨胀：高频使用下 ~/.clawtv/screenshots// 可能积累大量 PNG 文件，长期未清理将占用磁盘空间并增加隐私暴露面。