标准回答
先把问题定位清楚
多模态图文微调的核心难点不在于「能不能跑通」，而在于模型是否真的把图像内容和文本语义对齐了。如果训练数据里大量图文是弱相关甚至错配的（比如电商图配的是促销文案而非物体描述），模型会学到一个被噪声污染的跨模态映射，表现为「看图说空话」或答非所问。所以对齐质量的第一道关卡是数据。
数据清洗与配对质量
实践中先用一个预训练的图文对齐模型（如 CLIP/SigLIP）给每对图文打相似度分，过滤掉相似度过低的弱相关/错配样本；同时做去重、去黑边和水印、剔除全文字截图等异常。要统一图像分辨率与预处理管线，避免分辨率忽高忽低让视觉编码器抖动。文本侧要控制 caption 的粒度一致——既不能只有「一只猫」这种信息量过低的描述，也要避免堆砌无关营销词；理想的 caption 应准确且信息充分地覆盖图中关键实体、属性与关系。
表征对齐与难负样本
在建模上，对比学习是主流对齐手段：把匹配图文对的表征拉近、不匹配的推远。关键在于负样本质量，随机负样本太容易区分、梯度信号弱，应在 batch 内或检索库中挖掘难负样本（语义相近但细节不同，例如同为「狗」但品种或动作不同），逼模型学到细粒度对齐。
连接层与防模态坍塌
视觉特征要经过模态投影层（connector，如 MLP 或 Q-Former）映射进语言模型空间，这一层必须充分训练——很多对齐不好的根因是只微调了 LLM，connector 没学好。还要警惕模态坍塌：当文本先验过强时，模型会绕过图像、仅靠语言模型的世界知识作答。可通过平衡图文损失权重、构造「不看图答不出」的样本、或随机置空图像做对照来抑制。
用指标闭环验证
对齐不能只看 loss，要用下游指标量化：图文检索的 Recall@K 衡量双向匹配能力，VQA / 图文问答的准确率衡量细粒度理解，再辅以人工抽检图文一致性。指标驱动地回溯到数据和 connector，才能持续提升对齐质量。
常见误区
⚠️ 常见踩坑
只堆数据量不管配对质量，把弱相关/错配样本一起喂进去，反而稀释对齐信号；只微调语言模型而忽视模态投影层（connector），导致视觉特征进不了语言空间；只盯训练 loss 下降，不用图文检索/VQA 等指标验证，结果模型靠文本先验作答（模态坍塌）却被误判为对齐良好。
追问
追问 1：为什么用 CLIP 相似度来清洗数据本身可能引入偏差？
CLIP 也是在带噪网络图文上训练的，它对长尾概念、细粒度属性和非英文场景的判别力有限。用它的相似度做硬阈值过滤，会系统性地删掉那些 CLIP 本就不擅长的样本（如专业领域图、罕见实体），让训练集向 CLIP 的舒适区收缩，反而削弱模型在长尾上的对齐能力。更稳妥的做法是把相似度当软信号之一，结合规则、人工抽检和多模型投票，而不是只信单一打分器。
追问 2：怎么判断模型出现了模态坍塌而不是真的学会了？
做消融对照：把同一批问题在「给真实图像」「给随机/置空图像」两种条件下分别推理，如果两者答案几乎一致、准确率不掉，说明模型基本没用到图像、靠文本先验在答，即模态坍塌。还可以构造必须看图才能回答的反事实样本（如改变图中物体颜色/数量），观察答案是否随图像变化。指标上则看图文检索 Recall 和 VQA 在视觉敏感子集上的表现。
追问 3：难负样本挖掘成本高，有没有更轻量的替代？
可以先用 in-batch negatives：在足够大的 batch 内，其他样本天然充当负例，配合较大 batch size 就能覆盖一定难度，几乎零额外成本。再进一步可用上一轮模型的表征做近似最近邻检索，离线挖一批半难负样本缓存复用，避免每步实时检索。还可用文本侧的轻量扰动（替换属性词、数量词）生成对抗性负 caption，针对性强化细粒度对齐，成本远低于全库难负挖掘。
🔗 相似问题
同一考点的不同问法，面试官可能换着问，一起刷更稳
没找到想看的面试题？把你想看的告诉我们 →
延伸学习
按主题分类的相关资源，便于系统复习