多模态学习导览

如何设计全模态视频生成模型的评估基准？

全模态视频生成模型的评估需覆盖画面质量、音画一致性、时序连贯性、品牌保真度、成本效率五个维度，且需区分编辑与从零生成两类任务。

CLIP 如何对齐图像与文本表示？

图像、文本双编码器各出嵌入，用对比学习（InfoNCE）拉近匹配对、推远不匹配对，在共享空间实现跨模态对齐。

端侧 VLM（如 460M 参数量级）如何在极小参数下保持多模态理解能力？

考察候选人对端侧小型视觉语言模型工程化的理解：在数亿参数量级下，如何通过架构设计、知识蒸馏、模态对齐、量化等技术在资源受限设备上保持多模态理解能力，以及端侧部署的权衡。

多模态（图文）微调中如何确保文本和图像数据的对齐质量？

高质量图文配对、表征对比对齐、防模态坍塌，并用检索/VQA 指标验证对齐效果。