核心要点
按数据流串起采集→预处理→推理→后处理→业务→监控全链路
后处理是易被忽略的关键:NMS、跟踪、多传感器融合
区分离线训练(标注/增强/评测/导出)与在线低延迟推理
强调 train/serve 预处理一致,并上线漂移与延迟监控
简要回答
1. 数据采集
- 相机/镜头选型、光照设计、帧率分辨率
- 标定(内参、畸变)、时间同步(多传感器)
2. 预处理
- 去噪、色彩校正、resize、ROI 裁剪
- 与训练一致的 normalization(OpenCV → Tensor)
3. 模型推理
4. 后处理
- 检测:置信度阈值、NMS
- 分割:CRF refine、连通域分析
- 跟踪:Kalman + DeepSORT 跨帧 ID
- 多传感器融合(激光雷达投影)
5. 业务与 UI
- 规则引擎、告警、API、可视化 overlay
6. MLOps
- 版本管理、A/B、线上监控(延迟、准确率、数据漂移)
- 反馈闭环与再训练
离线侧:标注 → 增强 → 训练 → 评测(mAP、mIoU)→ 导出 ONNX;
全景参考 CV 系统实践
标准回答
1. 数据采集
- 相机/镜头选型、光照设计、帧率分辨率
- 标定(内参、畸变)、时间同步(多传感器)
2. 预处理
- 去噪、色彩校正、resize、ROI 裁剪
- 与训练一致的 normalization(OpenCV → Tensor)
3. 模型推理
- 任务选型:分类 / 检测 / 分割
- 骨干网络(ResNet、YOLO、ViT)+ 硬件加速(GPU/NPU/TensorRT)
4. 后处理
- 检测:置信度阈值、NMS
- 分割:CRF refine、连通域分析
- 跟踪:Kalman + DeepSORT 跨帧 ID
- 多传感器融合(激光雷达投影)
5. 业务与 UI
- 规则引擎、告警、API、可视化 overlay
6. MLOps
- 版本管理、A/B、线上监控(延迟、准确率、数据漂移)
- 反馈闭环与再训练
离线侧:标注 → 增强 → 训练 → 评测(mAP、mIoU)→ 导出 ONNX。
全景参考 CV 系统实践。
常见误区
⚠️ 常见踩坑
只谈模型不谈采集与后处理;忽略 train/serve skew;不说 NMS 与跟踪。
追问
追问 1:边缘部署要关注什么?
追问 2:CV 系统如何做质量保证?
分层测试集(光照/角度/遮挡);影子模式对比新旧模型;人工抽检低置信样本;监控输入图像质量(模糊、过曝检测)。
追问 3:多相机系统难点?
难点集中在标定与同步:要标定各相机内外参得到统一坐标系,并做硬件触发或时间戳对齐避免帧错位。还有跨相机目标重识别(ReID)做 ID 关联、重叠区域去重、带宽与算力调度。例如路口多枪机做全域跟踪,标定漂移会直接导致轨迹拼接错误。
延伸学习
与本题相关的知识库文章、术语、工具与行业资讯。
📰 AI 资讯
🛠️ AI 工具