livekit

LiveKit 是一个开源的实时音视频通信平台，其 Voice AI Skill 提供了构建生产级语音 Agent 的完整开发指南。该技能核心围绕 LiveKit Agents SDK 展开，支持开发者通过简单的 Python 或 Node.js 代码快速搭建 STT（语音识别）- LLM（大语言模型）- TTS（语音合成）全链路语音处理管道。开发者可以选择 Deepgram、OpenAI、ElevenLabs、Cartesia 等主流服务商的组合，灵活配置语音识别、对话生成和语音合成的能力，也可直接使用 OpenAI Realtime API 实现端到端的语音对话。此外，该技能还涵盖了 WebRTC 通信、SIP 电话集成、多 Agent 协作、打断处理等高级功能，并提供了云托管和 Docker 自托管两种部署方案。

该技能的显著优势在于其开源性和灵活性。作为开放源代码项目，LiveKit 允许开发者完全掌控语音 Agent 的架构和数据流，避免了供应商锁定。其模块化设计支持自由组合不同的 STT、LLM、TTS 提供商，既可以使用高性价比的 Deepgram Nova-3 + GPT-4.1 mini + Cartesia Sonic-3 组合控制成本，也可以选择 AssemblyAI + Claude Sonnet + ElevenLabs 追求极致质量。WebRTC 技术确保了低延迟的实时通信体验，而内置的打断检测、语音活动检测（VAD）和 Agent 交接机制，使得构建复杂的对话式 AI 应用变得简单。对于企业用户，SIP 电话集成功能支持将 AI Agent 接入传统电话网络，实现 Outbound 呼叫和客服场景。

然而，使用该技能也存在一些局限性。首先是成本问题，尤其是使用 OpenAI Realtime API 时，费用约为每分钟 0.10 美元，对于高频应用场景成本较高；即使是自建管道，多组件叠加也会产生不小的云服务开销。其次，虽然 LiveKit 简化了开发流程，但要实现生产级部署仍需处理复杂的网络配置、并发管理和错误恢复机制，自托管方案对运维能力有一定要求。此外，该技能高度依赖第三方 API 服务，如果 Deepgram、OpenAI 等服务商出现延迟或故障，将直接影响语音 Agent 的稳定性。最后，WebRTC 技术对网络质量敏感，在弱网环境下可能出现卡顿或断连。

该技能主要适合以下人群：希望构建实时语音交互应用的开发者、需要搭建 AI 客服或电话机器人系统的工程师、研究语音 Agent 架构的技术团队，以及对 WebRTC 和实时通信感兴趣的后端开发人员。无论是初创公司快速验证语音 AI 产品原型，还是企业集成语音能力到现有系统，该技能都提供了实用的参考实现。

在使用过程中需注意几个风险点：一是 API 密钥管理风险，配置文件中包含多个敏感密钥，若泄露可能导致云服务被盗用；二是成本控制风险，实时语音服务按量计费，开发测试阶段需注意监控用量；三是网络依赖风险，WebRTC 需要开放特定端口，企业防火墙可能阻碍连接；四是第三方服务依赖风险，建议实现熔断机制和备用提供商策略，避免单点故障影响业务。