LiveKit
端到端实时音视频通信栈,专为连接人类与 AI Agent 设计,支持 WebRTC、语音代理、低延迟实时交互。
🎯适用场景:AI 语音助手实时通话、视频会议中的 AI 协作、多人语音交互
📊 仓库数据
📈 Stars 变化 ↑12 小时 +9· 统计区间 7/10 12:08 → 7/11 00:11(12 小时)
✅ 优点
- •专为 AI Agent 实时通信优化,极低延迟
- •端到端方案,支持音视频全栈
- •与 livekit/agents 生态无缝集成
⚠️ 限制
- •自部署需要一定运维成本
- •文档偏向 Go/Node.js 开发者
🔗 相关工具
Vision Agents
github.com/GetStream/Vision-Agents
Stream 开源视觉+语音 Agent 框架,快速构建基于任意模型的视听实时交互 Agent,利用 Stream 边缘网络实现超低延迟。
🎯实时视觉理解 Agent、视频分析、语音+视觉多模态交互
ToolUniverse
github.com/mims-harvard/ToolUniverse
ToolUniverse 是哈佛医学院开发的统一工具框架,为 AI Agent 提供标准化工具调用接口。整合多种外部工具和 API,支持医疗、科研等多领域场景。
🎯AI Agent 工具调用标准化、医疗领域工具集成
AI Game DevTools
github.com/Yuan-ManX/ai-game-devtools
AI 游戏开发工具中枢。涵盖 LLM、World Model、Agent、代码、图像、纹理、Shader、3D 模型、动画、视频、音频、音乐和音效分析等 AI 游戏开发全链路资源
🎯AI 游戏开发资源汇总与工具链
Deep Live Cam
github.com/hacksider/Deep-Live-Cam
实时人脸替换工具,91,252+ stars。仅需一张照片即可实现实时视频换脸和一键视频 Deepfake,基于 AI 视觉模型实现高精度面部替换。支持摄像头实时预览和离线视频处理,是 AI 换脸领域最受欢迎的开源项目。
🎯多模态内容理解与生成
openpilot
github.com/commaai/openpilot
自动驾驶操作系统,60,671+ stars。comma.ai 开源的高级驾驶辅助系统(ADAS),支持 275+ 款车型的自适应巡航、车道保持等自动驾驶辅助功能
🎯多模态内容理解与生成
FFmpeg
github.com/FFmpeg/FFmpeg
FFmpeg 多媒体处理框架的增强版本,60K+ stars。支持音视频转码、剪辑、滤镜、流媒体等全功能,是视频 AI 处理和多媒体应用的底层基础设施
🎯AI 视频预处理、音视频转码剪辑、多媒体流处理
