语音活动检测（VAD）

语音活动检测

判断有没有人在说话

亦作、亦称：VAD · Voice Activity Detection · 语音端点检测 · Speech Detection

语音活动检测（VAD） 是语音处理管线的第一道关卡，负责在连续音频流中实时判断「当前帧是否包含人类语音」。它是语音编码、语音识别和全双工交互等系统的核心前置模块，VAD 的准确性直接决定下游系统的资源消耗和用户体验。

算法演进

  • 能量阈值法（1980s）：计算短时能量，超过阈值判定为语音，简单但在噪声环境下误报率高
  • 频谱特征法（2000s）：提取频谱平坦度、频谱质心、过零率等特征，配合 GMM/SVM 分类器
  • 深度学习法（2018+）：Silero VAD 使用轻量 CRNN 架构，模型仅 2MB，CPU 推理延迟 < 5ms/帧，检测准确率 > 98%；WebRTC VAD 是 Google 开源的轻量方案

全双工语音中的关键角色

在全双工语音 AI 系统中，VAD 承担三个关键功能：

  • 说话状态判断：持续监听用户音频流，判断用户是否在说话，决定 AI 是否应停止当前输出
  • 打断检测：当用户在 AI 说话时开始说话（barge-in），VAD 需在 < 50ms 内检测到并触发 AI 暂停
  • 端点检测：判断用户说完一句话的边界，触发 AI 开始响应

据 Pipecat 开源框架文档，其 VAD 模块配合流式推理将端到端响应延迟降至约 370ms。

2026 年主要产品

  • Silero VAD v5：开源轻量 VAD，模型 2MB，CPU 推理 < 5ms/帧
  • WebRTC VAD：Google 开源，浏览器原生支持，适合 Web 端语音应用
  • NVIDIA Riva VAD：GPU 加速 VAD，集成在 Riva 语音 AI SDK 中
  • OpenAI GPT-Live VAD：内置于 GPT-Live 全双工语音 API，自动处理说话人切换和打断检测

常见误解

日常交流中容易听到的简化说法，未必准确，但能帮助理解误解从何而来。

  • 「判断有没有人在说话」
  • 「语音的开关检测」

相关术语

和本术语关联紧密的其他词条，便于串联理解。

延伸阅读

从知识库精选 3 篇文章，帮助深入理解该术语。

  1. 1

    全双工语音交互技术解析：从半双工轮到全双工

    全双工语音 AI 依赖三大技术突破：实时 VAD、流式推理、并行编解码。本文从半双工流水线的局限性出发，拆解全双工架构的核心组件与工程挑战，帮助开发者理解 GPT-Live 背后的技术栈及其对应用场景的影响。

  2. 2

    全双工实时语音对话 AI：从 Moshi 到 PersonaPlex 的技术演进

    2026 年，全双工实时语音对话 AI 进入爆发期。从 Kyutai 的 Moshi 开创 160ms 理论延迟的语音-语音模型，到 NVIDIA PersonaPlex 实现人格控制与角色扮演，语音 AI 正从「识别+合成」的传统管线进化为真正的「实时对话智能体」。本文深度解读全双工语音 AI 的技术架构、核心编解码器 Mimi、混合系统提示机制，以及与 OpenAI Realtime API、Gemini Live 等商业方案的对比。

  3. 3

    语音 AI 全景指南：从语音识别到全双工实时对话

    2026 年语音 AI 进入全双工实时对话时代。本文系统梳理语音 AI 技术栈：从 ASR 语音识别、TTS 语音合成，到端到端语音模型和全双工对话系统，带你理解 NVIDIA PersonaPlex、Audio Flamingo Next、MoshiRAG 等前沿项目背后的技术原理。

外部参考

维基百科：查看「语音活动检测」词条

本页内容为本站原创撰写；维基百科链接仅作延伸参考。