掩码自编码（MAE）这类自监督预训练为什么有效？

做法

MAE（Masked Autoencoder）随机遮挡约 75% 的图像 patch，编码器只对剩余可见 patch 计算表示，再把可见 token 与表示遮挡位置的 mask token 一起送入一个轻量解码器，重建被遮挡区域的像素，用重建损失训练，无需任何标注。

为什么有效

• 高遮挡比是关键：图像有大量空间冗余，若只遮一小块，靠相邻像素插值就能补全，模型学不到语义；遮掉 75% 后，必须理解物体结构与上下文才能重建，逼出语义级表征。
• 非对称结构高效：重型编码器只处理约 25% 的可见 patch，计算量大降；负担重的全 token 处理交给轻量解码器，因此能用较低成本预训练大 ViT。
• 预训练后丢掉解码器，编码器作为骨干迁移到下游任务，微调表现强。

与对比学习的差异

MAE 不需要数据增强设计与负样本，实现简单、对增强不敏感，属于生成式（重建式）自监督。