模型合并与权重融合：从 TIES 到 DARE 的参数空间工程

模型合并（Model Merging） 是一种无需重新训练即可组合多个神经网络权重的技术。其核心思想是：如果多个模型从同一预训练初始化出发，各自微调后获得的参数扰动编码了特定任务知识，那么这些扰动可以在参数空间中算术组合，生成一个同时继承多种能力的统一模型。

这一领域的突破性进展始于 2022 年 Model Soups 论文的发表。Wortsman 等人发现，简单地平均多个超参数配置微调后的模型权重，不仅能提升验证集准确率，还能逼近完整集成学习的性能——而推理时间零增加。这一反直觉现象揭示了深度神经网络损失景观的几何特性：独立优化的模型往往落在同一误差盆地（error basin）内，因此它们的权重可以安全平均。

产业数据：截至 2026 年 7 月，Hugging Face Open LLM Leaderboard 上前 20 名的 7B 参数模型中，超过 60％ 是合并模型。MergeKit 工具库已被社区用于生成数千个合并检查点，其中 Marcoro14-7B-slerp 在 2024 年初直接登顶排行榜，NeuralMarcoro14-7B 等合并模型也多次进入前列，击败了参数量更大、训练成本更高的原生模型。

集成学习（Ensemble Learning） 的经典理论表明，组合多个独立模型的预测输出可以降低方差、提升泛化能力。但传统集成需要同时运行所有模型，推理成本线性增长。模型合并 的魔法在于：它将集成压缩到单一模型中，推理时只运行一次。

这背后的数学直觉是 线性模式连接（Linear Mode Connectivity, LMC） 假说。Garipov 等人（2018）发现，从同一初始化出发训练的两个模型，它们在参数空间中的连线上存在一条低损失路径。这意味着两个模型的权重可以线性插值而不显著增加损失。

形式化定义：给定 N 个模型参数，加权平均合并生成：θ_merged = Σ(αᵢ · θᵢ)，其中 Σαᵢ = 1。

最简单的情况是均匀平均（αᵢ = 1/N）。但更精细的策略包括：

• Greedy Model Soups：逐步添加模型，仅保留提升验证性能的模型
• Fisher 加权：使用 Fisher 信息矩阵衡量每个模型参数的重要性
• 任务向量算术（Task Arithmetic）：将微调增量视为向量，进行加减运算

关键洞察：模型合并之所以有效，是因为预训练模型已经学到了通用的特征表示，微调只是在特定方向上调整。如果多个微调方向不冲突（即它们修改不同的参数子集或同一参数的相同方向），合并就能保留所有能力。

LMC 的深层含义：线性模式连接假说暗示了一个惊人的事实——尽管神经网络的参数空间是高度非凸的，但 SGD 找到的解并不是随机分布在损失景观中，而是倾向于落在相互连通的低损失区域。这一性质在大规模预训练模型中尤为显著，也是模型合并能够在 LLM 时代大放异彩的根本原因。如果没有 LMC 性质，不同微调模型的权重平均将毫无意义——就像把两个完全无关的随机向量相加一样。

Task Arithmetic 由 Ilharco 等人（2023）提出，是模型合并领域的基础性框架。其核心思想是将微调过程视为在参数空间中从基础模型出发沿某个方向移动，这个方向就是 任务向量（Task Vector）。

任务向量定义：τ = θ_finetuned - θ_base

这个向量编码了从通用知识到特定任务的「知识增量」。一旦计算出任务向量，就可以对其进行算术运算：

• 加法：θ_new = θ_base + λ·(τ₁ + τ₂ + ... + τ_k)，组合多个任务能力
• 减法：θ_new = θ_base - λ·τ，「撤销」某个任务的知识（用于机器遗忘）
• 缩放：λ 是超参数，控制任务向量的影响强度

直觉理解：想象参数空间是一个高维地形。预训练模型位于某个山谷底部。微调是沿着某个方向爬上山坡。任务向量就是从这个山谷到山坡上某个点的位移向量。如果多个任务对应的位移方向不冲突（比如一个向东、一个向北），那么把它们加起来就能到达一个同时具备两种能力的新位置。

工程实践：Task Arithmetic 的优势在于简单——只需计算参数差并求和。但它有一个致命缺陷：干扰（Interference）。当两个任务修改了同一参数的相反方向时，平均会将该参数推向零，丢失两个任务的信号。这就是为什么后续方法（TIES、DARE）引入了稀疏化机制。

TIES-Merging（Trim, Elect, Sign）由 Yadav 等人（2023）提出，是首个系统性解决参数干扰问题的合并算法。其核心洞察是：任务向量中存在大量 冗余参数，这些冗余参数在合并时会产生冲突。

三步流程：

第一步：Trim（修剪）——基于幅度的稀疏化。计算每个任务向量中参数的绝对值，保留 top-k％ 的参数（通常 k=20），其余置零。直觉：大幅变化的参数更重要，小幅变化的参数可能是噪声。

第二步：Elect（符号选举）——解决符号冲突。对于每个参数位置，统计所有任务向量在该位置的符号（正/负），采用「多数投票」：如果多数任务向量为正，则该位置的合并结果为正；反之为负。如果符号不一致（比如 3 正 2 负），则丢弃该位置的参数（置零）。

第三步：Disjoint Merge（不相交合并）——平均幸存者。经过前两步，每个参数位置最多只有一个非零值（因为符号冲突已被解决），对所有非零值求平均，得到最终的合并增量，加回基础模型。

关键优势：TIES 对超参数 k（保留比例）不敏感。实验表明，k 在 10％-30％ 范围内都能获得稳定结果。这是因为冗余参数的比例远高于关键参数的比例，只要保留足够的信号参数，合并就能成功。此外，符号选举机制使得 TIES 在面对大量任务向量时仍能保持稳健性，这是朴素平均和 Task Arithmetic 都无法做到的。

实验数据：在 LLaMA-2 7B 上合并 5 个领域专家（数学、代码、医学、法律、金融），TIES-Merging 相比朴素平均提升 12.3％ 的平均准确率，同时消除了朴素平均中常见的性能崩溃问题。这一改进在多任务场景下尤为显著，因为任务越多，参数冲突的概率越高，TIES 的符号选举机制就越能发挥作用。

DARE（Drop And Rescale） 由 Yu 等人（2024）提出，是一种反直觉但极其有效的稀疏化技术。其核心思想是：任务向量中存在大量冗余参数，随机丢弃 90％ 甚至 99％ 的参数，然后 重缩放 剩余参数以保持期望值不变，不仅不会损害性能，反而能显著提升合并效果。

两步流程：

第一步：Drop（随机丢弃）——对于任务向量中的每个参数，以概率 p 将其置零（通常 p=0.9，即丢弃 90％）。注意：这是随机丢弃，不是基于幅度或重要性的选择性丢弃。

第二步：Rescale（重缩放）——将剩余的非零参数乘以 1/(1-p)，即放大 10 倍（当 p=0.9 时）。直觉：虽然丢弃了 90％ 的参数，但剩余参数的期望值保持不变。

为什么有效？ 这背后的理论解释是 过参数化（Over-parameterization） 假说。现代神经网络严重过参数化，任务向量中存在大量冗余。随机丢弃实际上是一种 隐式正则化，迫使合并后的模型依赖最稳健的参数子集。

与 TIES 的对比：TIES 是确定性的（基于幅度和符号选举选择参数），DARE 是随机的（随机丢弃，依赖大数定律）。DARE 通常作为 TIES 的预处理步骤：先用 DARE 稀疏化，再用 TIES 合并（称为 DARE-TIES）。

实验数据：在 Mistral-7B 上合并 10 个任务向量，DARE（p=0.9）+ Task Arithmetic 相比纯 Task Arithmetic 提升 8.7％ 的平均准确率。当 p=0.99（丢弃 99％）时，性能仅下降 2％，但合并速度提升 100 倍。

SLERP（Spherical Linear Interpolation） 源自计算机图形学中的四元数插值（Shoemake, 1985），后被引入模型合并领域。其核心思想是：将模型权重视为高维球面上的点，合并时沿球面的最短路径（大圆）插值，而不是在欧氏空间中直线插值。

数学原理：给定两个模型权重 θ₁ 和 θ₂，将它们视为单位向量（归一化后）。它们之间的夹角为 Ω = arccos(θ₁ · θ₂)。SLERP 插值公式为：SLERP(θ₁, θ₂, t) = [sin((1-t)·Ω) / sin(Ω)] · θ₁ + [sin(t·Ω) / sin(Ω)] · θ₂，其中 t 在 0 到 1 之间。

与朴素平均的对比：朴素平均在欧氏空间中直线插值，SLERP 沿球面最短路径插值，保持权重的范数（norm）不变。

直觉理解：想象地球表面上的两个点。朴素平均是穿过地球内部的直线（会掉进地心），而 SLERP 是沿地表的大圆路径（保持在地表）。对于神经网络权重，保持范数很重要，因为范数编码了特征的「强度」信息。

工程实践：SLERP 通常用于两个模型的合并。在 mergekit 中，SLERP 支持逐层插值系数：可以为注意力层和 MLP 层设置不同的 t 值，实现更精细的控制。

实验数据：在合并代码生成模型和对话模型时，SLERP（t=0.5）相比朴素平均提升 5.2％ 的平均准确率，且在代码生成任务上的性能波动更小（标准差降低 40％）。

Model Soups 由 Wortsman 等人（2022）提出，是模型合并领域的开山之作。其核心思想极其简单：在超参数调优过程中，不要只保留最好的模型，而是把所有尝试过的模型都保留下来，最后平均它们的权重。

三种 Model Soup 变体：

Uniform Soup（均匀汤）：对所有微调模型（不同超参数配置）的权重求均匀平均。最简单，但效果已经很好。

Greedy Soup（贪婪汤）：逐步添加模型到「汤」中，每次添加后在验证集上评估，仅保留提升性能的模型。直觉：只保留对「汤」有贡献的模型。

Learned Soup（学习汤）：学习每个模型的权重 αᵢ（而不是均匀平均），在验证集上优化使得合并模型性能最优。计算成本更高，但可能获得更好的性能。

为什么有效？ Model Soups 的有效性源于误差景观的几何特性。从同一预训练初始化出发，不同超参数配置微调的模型往往落在同一误差盆地内。这些模型的权重平均相当于在盆地内找到更低的点。

实验数据：在 ImageNet 上，Greedy Soup 相比最佳单模型提升 1.5-2.0％ 的 top-1 准确率，且零额外推理成本。在 LLM 领域，合并 10 个不同学习率微调的 LLaMA-7B 检查点，MMLU 准确率提升 2.3％。

mergekit 由 Arcee AI 开发，是模型合并领域的标准工具库。截至 2026 年 7 月，mergekit 已获得超过 5000 GitHub Stars，被社区用于生成数千个合并模型。Open LLM Leaderboard 上超过 60％ 的 7B 参数模型是使用 mergekit 合并的。

核心功能：支持所有主流合并方法（SLERP、TIES、DARE、DARE-TIES、Task Arithmetic、Passthrough、Linear、Model Soups），支持逐层插值系数，支持稀疏张量存储，支持 CPU 和 GPU 运行，支持 Lazy Unpickling 按需加载参数。

mergekit 使用 YAML 配置文件定义合并策略。一个典型的 TIES-Merging 配置包括：models（要合并的模型列表）、base_model（基础模型）、parameters（合并参数如 TIES 的 k 值、DARE 的 p 值）、dtype（输出数据类型）。

开源社区实践：选择 2-5 个在特定任务上表现优异的微调模型，使用 DARE-TIES 或 SLERP 合并，提交到 Leaderboard，通常能击败原生训练模型。注意公开基准测试存在数据污染风险。

企业应用案例：Fidelity 合并金融领域专家模型用于投资分析；BioMistral Lab 合并医学文献、临床试验、基因组学专家构建医学 AI 助手；OpenPipe 合并代码生成、文档生成、测试生成专家优化企业开发工作流。

关键洞察：模型合并正在 民主化 AI 开发。没有 GPU 训练资源的个人开发者，可以通过合并开源社区的微调模型，构建出媲美大厂训练模型的性能。这是一种零训练成本的模型开发范式。

尽管模型合并取得了巨大成功，但它仍有明确的适用边界和未解决的理论问题。

适用边界：

1. 架构一致性要求：当前所有合并方法都要求被合并的模型具有完全相同的架构（层数、隐藏维度、注意力头数等）。最新研究 Transport and Merge（Cui et al., 2026）开始探索跨架构合并，使用最优传输理论对齐不同架构的参数空间。

2. 预训练初始化依赖：大多数合并方法要求所有模型从同一预训练初始化出发。例外：Task Arithmetic 和 TIES 可以通过计算任务向量（相对于各自的基础模型）来缓解这一问题。

3. 任务相似度限制：合并效果在任务相似度中等时最佳。经验法则：合并 3-5 个互补但不冲突的任务效果最好。

未解决的理论问题：

1. 为什么预训练模型如此「可合并」？ 经验观察表明大规模预训练模型的损失景观具有特殊的几何结构，但目前缺乏严格的理论解释。最新研究（Kim et al., 2025）开始推导合并模型的泛化界。

2. 合并的安全性与对齐保持：合并两个经过 RLHF 对齐的模型，合并结果可能破坏对齐。SafeMERGE（2025）和 AlignMerge（2025）提出了对齐保持合并方法，但计算成本较高。

3. 动态持续合并：当前合并是一次性的。未来方向是持续合并：随着新模型的加入，动态更新合并模型，需要解决灾难性遗忘问题。

6-12 个月趋势预判：跨架构合并将成为研究热点；合并即服务（Merging-as-a-Service）平台将出现；安全合并将成为标准功能；持续合并将在 2027 年初实现商业化。