核心要点

  • 按数据流串起采集→预处理→推理→后处理→业务→监控全链路

  • 后处理是易被忽略的关键:NMS、跟踪、多传感器融合

  • 区分离线训练(标注/增强/评测/导出)与在线低延迟推理

  • 强调 train/serve 预处理一致,并上线漂移与延迟监控

简要回答

1. 数据采集

  • 相机/镜头选型、光照设计、帧率分辨率
  • 标定(内参、畸变)、时间同步(多传感器)

2. 预处理

  • 去噪、色彩校正、resize、ROI 裁剪
  • 与训练一致的 normalizationOpenCV → Tensor)

3. 模型推理

  • 任务选型:分类 / 检测 / 分割
  • 骨干网络(ResNet、YOLO、ViT)+ 硬件加速(GPU/NPU/TensorRT)

4. 后处理

  • 检测:置信度阈值、NMS
  • 分割:CRF refine、连通域分析
  • 跟踪:Kalman + DeepSORT 跨帧 ID
  • 多传感器融合(激光雷达投影)

5. 业务与 UI

  • 规则引擎、告警、API、可视化 overlay

6. MLOps

  • 版本管理、A/B、线上监控(延迟、准确率、数据漂移)
  • 反馈闭环与再训练

离线侧:标注 → 增强 → 训练 → 评测(mAP、mIoU)→ 导出 ONNX

全景参考 CV 系统实践

标准回答

1. 数据采集

  • 相机/镜头选型、光照设计、帧率分辨率
  • 标定(内参、畸变)、时间同步(多传感器)

2. 预处理

  • 去噪、色彩校正、resize、ROI 裁剪
  • 与训练一致的 normalization(OpenCV → Tensor)

3. 模型推理

  • 任务选型:分类 / 检测 / 分割
  • 骨干网络(ResNet、YOLO、ViT)+ 硬件加速(GPU/NPU/TensorRT)

4. 后处理

  • 检测:置信度阈值、NMS
  • 分割:CRF refine、连通域分析
  • 跟踪:Kalman + DeepSORT 跨帧 ID
  • 多传感器融合(激光雷达投影)

5. 业务与 UI

  • 规则引擎、告警、API、可视化 overlay

6. MLOps

  • 版本管理、A/B、线上监控(延迟、准确率、数据漂移)
  • 反馈闭环与再训练

离线侧:标注 → 增强 → 训练 → 评测(mAP、mIoU)→ 导出 ONNX

全景参考 CV 系统实践

常见误区

⚠️ 常见踩坑

只谈模型不谈采集与后处理;忽略 train/serve skew;不说 NMS 与跟踪。

追问

追问 1边缘部署要关注什么?

算力与功耗受限,需要量化(INT8)、剪枝、蒸馏压缩模型,并用 TensorRT/ONNX Runtime/NCNN 等推理引擎加速。还要管理延迟与吞吐、内存占用、散热,以及离线/断网下的可靠性。量化后务必在目标硬件上回测精度,避免掉点。

追问 2CV 系统如何做质量保证?

分层测试集(光照/角度/遮挡);影子模式对比新旧模型;人工抽检低置信样本;监控输入图像质量(模糊、过曝检测)。

追问 3多相机系统难点?

难点集中在标定与同步:要标定各相机内外参得到统一坐标系,并做硬件触发或时间戳对齐避免帧错位。还有跨相机目标重识别(ReID)做 ID 关联、重叠区域去重、带宽与算力调度。例如路口多枪机做全域跟踪,标定漂移会直接导致轨迹拼接错误。

延伸学习

与本题相关的知识库文章、术语、工具与行业资讯。

🛠️ AI 工具

  • OpenCV

    开源计算机视觉库,87,181+ stars。全球最广泛使用的计算机视觉库,提供 2500+ 优化算法,涵盖图像处理、目标检测、人脸识别、相机标定等领域。支持 C++、Python、Java,是 AI 视觉应用的基石。

  • onnx

    开放神经网络交换格式(ONNX),21K+ stars。跨框架的 ML 模型表示标准,支持 PyTorch、TensorFlow 等框架间模型转换与互操作,是模型部署生态的基础规范