Model Merging（模型合并）

Model Merging 的方法从简单到复杂经历了四代演进：

(1) Weight Averaging / Model Soups（2022）：Wortsman 等人发现，简单平均多个从同一初始化出发、不同超参数配置微调的模型权重，验证集准确率提升且逼近集成学习性能。核心前提是线性模式连通性（Linear Mode Connectivity）——从同一初始化出发的模型在参数空间中由低损失路径相连。Model Soups 分为 Uniform Soups（等权平均）和 Greedy Soups（贪心选择子集）。

(2) Task Arithmetic（2022）：定义任务向量 τ = θ_finetuned - θ_pretrained，将微调视为在预训练参数空间中的位移。通过向量加减组合任务能力：θ_merged = θ_pretrained + α₁τ₁ + α₂τ₂。支持能力加法（组合多任务）和减法（消除不期望特性）。

(3) TIES-Merging（2023）：解决合并中的符号冲突和冗余问题。三步流程：Trim（修剪小幅值权重，减少噪声）→ Elect Sign（对每个参数位，投票决定正/负方向）→ Disjoint Merge（按选举方向平均）。TIES 在多任务合并中显著优于简单平均。

(4) DARE（2024）：Drop And REscale——随机丢弃一部分冗余参数（将其重置为预训练值），然后重新缩放剩余参数。DARE 的核心洞察是：微调模型中存在大量冗余参数，这些参数在合并时会互相干扰。随机丢弃反而能减少干扰，提升合并质量。

Model Merging 有效性的理论基础主要来自三个方面：

(1) 线性模式连通性（Linear Mode Connectivity）：Frankle et al. (2020) 发现，从同一初始化出发、通过 SGD 训练到不同局部最优的两个网络，在参数空间中存在一条低损失的直线路径连接它们。这意味着它们的权重可以安全插值和平均，而不会落入高损失区域。这是 Weight Averaging 和 Model Soups 的理论基础。

(2) 损失景观几何：深度神经网络的损失景观在高维空间中呈现「窄谷」结构——独立优化的模型倾向于落在同一误差盆地（error basin）内。Model Soups 的有效性正是因为这些模型在参数空间中彼此接近。

(3) 稀疏性与任务向量：大模型的激活和权重是稀疏的，微调引起的参数变化（任务向量 τ）通常也是稀疏的。这意味着不同任务的参数变化重叠度低，合并时干扰有限。TIES 和 DARE 正是利用这一性质，通过修剪冗余参数减少干扰。

2026 年的 Model Merging 已形成成熟的工程实践：

MergeKit 是最流行的开源合并工具库，支持 Weight Averaging、Task Arithmetic、TIES-Merging、DARE、SLERP（球面线性插值）等所有主流方法。MergeKit 的配置文件支持声明式定义合并策略，包括每个模型层独立配置合并权重。

典型工作流：(1) 选择同一基座模型（如 LLaMA 3 8B）的多个微调变体；(2) 每个变体在不同任务/领域上微调；(3) 使用 MergeKit 按选定策略合并权重；(4) 在目标任务上评估合并模型。

成功案例：Marcoro14-7B-slerp 通过 SLERP 合并多个 7B 微调模型，在 2024 年初直接登顶 Hugging Face Open LLM Leaderboard，击败了参数量更大、训练成本更高的原生模型。NeuralMarcoro14-7B 等合并模型也多次进入前列。

局限：Model Merging 要求所有模型从同一预训练初始化出发（否则权重空间不对齐）；合并方法对超参数敏感（如合并权重 α 的选择）；合并模型在任务冲突严重时性能可能下降。