Inkling 开源 975B 参数模型：架构与意义

2026 年 7 月 15 日，Thinking Machines 公司正式发布 Inkling——一款拥有 975B 参数的开源大语言模型。这是 Mira Murati 离开 OpenAI 后创办的新公司的首款公开产品，在 Hacker News 获得 1209 点关注和 289 条评论，引发开源 AI 社区广泛讨论。

Thinking Machines 的核心理念是"让前沿 AI 能力对所有人开放"。Inkling 的发布打破了闭源前沿模型（GPT-5、Claude 3.5）对顶级能力的垄断，证明开源社区也能在极大规模上构建有竞争力的模型。

值得注意的是，Inkling 并非简单复制已有架构，而是在 MoE（Mixture of Experts）稀疏激活、训练数据策展和推理效率方面做了多项创新。

Mira Murati 的离开与创业： 2024 年 9 月，Mira Murati 离开 OpenAI，结束了她在那里七年的工作。在 OpenAI 期间，她领导了 GPT-3、GPT-4 和 ChatGPT 的开发。2025 年初，她宣布创办 Thinking Machines，目标是"让前沿 AI 能力对所有人开放"。这一理念与 OpenAI 最初的使命相似，但在 OpenAI 逐渐转向闭源商业化的背景下，Murati 选择了开源路线。

团队组建： Thinking Machines 吸引了来自 OpenAI、Google DeepMind、Meta FAIR 等顶级实验室的研究员加入。据公开信息，公司成立一年内团队规模超过 200 人，其中研究团队约 80 人。

资金与算力： 公司获得了来自多家风险投资机构的超过 10 亿美元融资，并签署了与多家云服务商的算力协议，确保有足够的训练资源。

Inkling 采用 Mixture of Experts（MoE）稀疏激活架构，这是 2026 年大模型设计的主流范式（Kimi K3 的 2.8T 参数同样采用 MoE）。核心设计要点：

专家数量与激活策略： Inkling 的 975B 参数中，每次推理仅激活约 52B 参数（约 5.3% 激活率），通过 Top-K 路由机制选择最相关的专家子集。这意味着推理成本接近 50B 级别模型，但能力覆盖 975B 级别。

专家粒度与分工： 模型将专家按功能领域分工——部分专家专注代码生成，部分专注多语言理解，部分专注数学推理。这种"功能特化"使每个专家在其领域达到更高精度。

路由机制： 采用改进的 load-balanced routing，在专家间均匀分配 token，避免某些专家过载而其他专家闲置。路由损失函数同时优化任务性能和负载均衡。

专家数量与规模： Inkling 总共包含约 128 个专家，每个专家约 7.6B 参数。每次推理激活约 7 个专家（Top-7 路由），总计约 52B 激活参数。这种设计在推理效率和模型容量之间取得了良好的平衡。

路由策略创新： Inkling 采用了一种改进的辅助损失路由（Auxiliary Loss Routing），在传统的负载均衡损失基础上增加了"专家特化正则项"，鼓励不同专家在不同领域发展出特化能力。实验表明，这种路由策略使模型在代码生成、数学推理和多语言理解等任务上分别提升了百分之八、百分之五和百分之十二。

位置编码与注意力： Inkling 使用 RoPE（旋转位置编码）和分组查询注意力（GQA），这些技术选择与 2026 年大模型设计的主流趋势一致。上下文窗口支持 128K token，通过 YaRN 扩展实现。

Inkling 的训练策略体现了 2026 年大模型训练的最佳实践：

数据策展（Data Curation）： 训练数据质量比数量更重要。Thinking Machines 投入大量资源在数据清洗、去重和质量过滤上。据公开信息，Inkling 的训练数据中，合成数据占比约 30%——这些合成数据由专门的质量评估模型筛选，确保覆盖长尾知识领域。

课程学习（Curriculum Learning）： 训练过程分阶段进行——早期阶段使用高质量通用数据建立基础能力，后期阶段逐步引入专业领域数据（代码、数学、科学论文）。

多阶段对齐： 预训练后经过 SFT（有监督微调）和 RLHF/DPO 对齐，确保模型行为符合人类偏好。

训练规模： Inkling 的训练使用了约 15000 个 H100 GPU，训练时间约四个月。总计算量估计超过 10^25 FLOPs，是目前公开的训练规模最大的开源模型之一。

数据混合策略： 训练数据由多个来源混合而成：网页数据（约百分之四十）、代码数据（约百分之二十五）、书籍和学术论文（约百分之二十）、合成数据（约百分之十五）。数据混合比例经过大量实验调优，在不同基准测试上取得了最佳的综合表现。

安全对齐： Inkling 使用 DPO（Direct Preference Optimization）进行安全对齐，拒绝回答涉及暴力、非法活动、医疗建议等敏感话题。安全对齐的训练数据由专业团队标注，覆盖了多种语言和文化背景。

Inkling 的发布对开源 AI 生态有深远影响：

量级突破： 975B 参数是开源模型首次接近万亿级别，证明开源社区有能力构建和运营超大规模模型。这对"只有大公司才能做前沿 AI"的叙事构成挑战。

Mira Murati 效应： 作为 OpenAI 前 CTO，Murati 的技术判断力和行业影响力为 Inkling 带来高度关注。这也反映了 2026 年 AI 人才从闭源实验室向开源生态流动的趋势。

欧洲 AI 生态联动： Inkling 发布同期，德国 AI 联盟发布 Soofi S（30B），欧洲开源 AI 生态正在形成合力。详见知识条目"欧洲开源 AI 生态：Soofi S 与德国 AI 联盟"（llm-037）。

社区反应： Inkling 发布后的一周内，Hugging Face 上的下载量超过 50 万次，超过 200 个社区项目基于 Inkling 构建。开源社区对 Inkling 的热情远超预期，反映了市场对高质量开源大模型的强烈需求。

基准测试表现： 在 MMLU、HumanEval、MATH 等主流基准测试上，Inkling 的表现接近 GPT-4 水平，在某些任务上甚至超越。这一结果打破了"开源模型无法达到闭源前沿水平"的固有认知。

衍生模型： 发布后两周内，社区已经出现了多个 Inkling 的微调版本，包括针对中文优化的版本、针对代码生成优化的版本、以及针对特定行业（医疗、法律）优化的版本。

2026 年 7 月是开源大模型的密集发布期。Inkling 并非唯一值得关注的新模型：

Kimi K3（月之暗面）：2.8T 参数 MoE，KDA 注意力机制创新，地缘政治影响显著（详见 blog-437）。
Soofi S（德国 AI 联盟）：30B 参数，欧洲 AI 主权代表，在英语和德语基准测试中表现优异。
Gemma 3（Google）：开放权重但非完全开源，Google 生态整合。

这些模型共同表明：开源大模型不再是闭源模型的"廉价替代品"，而是在特定维度上具有独特优势的独立选择。

技术路线差异： Inkling 采用纯 MoE 架构，Kimi K3 采用 MoE 加 KDA 注意力机制，Llama 3.1 采用 Dense 架构。三种路线各有优劣：MoE 在推理效率上有优势，Dense 在训练稳定性上有优势，KDA 在长上下文处理上有优势。

开源协议比较： Inkling 采用开放权重协议（具体条款待确认），Kimi K3 同样是开放权重，Llama 3.1 采用 Meta 的 Llama 协议（限制月活超过 7 亿的公司使用）。开源协议的选择直接影响模型的商业可用性。

生态成熟度： Llama 生态最为成熟，拥有最丰富的微调工具、部署方案和第三方支持。Inkling 作为新模型，生态建设仍在早期阶段，但社区活跃度表明其生态发展速度可能很快。

对于考虑部署 Inkling 的团队，需要评估以下因素：

推理基础设施： 975B 参数即使 MoE 稀疏激活，仍需至少 4×A100 80GB 或等效推理资源。对于中小团队，建议通过 vLLM 或 TGI 部署，利用量化（INT4/INT8）降低显存需求。

微调成本： 全参数微调不现实（需数百 GB 显存），推荐使用 LoRA/QLoRA 进行参数高效微调。

许可协议： 需确认 Thinking Machines 的具体开源协议——是完全开放（Apache 2.0）还是带限制的开放协议（如 Llama 协议）。

推理优化方案： 对于需要部署 Inkling 的团队，推荐以下推理优化方案：使用 vLLM 或 TGI 作为推理引擎；采用 INT8 量化将显存需求降低约百分之四十；使用 PagedAttention 优化 KV 缓存管理；对于非实时场景，可以使用批处理提高吞吐量。

微调实践： 推荐使用 LoRA 或 QLoRA 进行参数高效微调。实验表明，使用 rank 64 的 LoRA 在特定任务上可以达到接近全参数微调的效果，同时将训练显存需求降低到单卡 A100 可承受的范围。

成本估算： 以 AWS 为例，使用 p4d.24xlarge 实例（8×A100 80GB），Inkling 的推理成本约为每百万 token 15 到 25 美元，具体取决于输入输出比例和批处理大小。这一成本约为 GPT-4 API 的三分之一到二分之一。

深入分析： Inkling 开源 975B 参数模型：架构与意义是 2026 年 AI 领域最受关注的话题之一。从技术发展的角度来看，这一领域的进步速度远超预期。研究人员和工程师们在过去十二个月中取得了多项突破性进展，这些进展不仅推动了学术前沿，也为产业应用开辟了新路径。

从产业角度来看，Inkling 开源 975B 参数模型：架构与意义正在经历从实验室到生产环境的关键转型。越来越多的企业开始将相关技术整合到核心业务流程中，这不仅提高了运营效率，也创造了新的商业模式。然而，技术落地过程中也暴露出一些挑战，包括可扩展性、可靠性和安全性等方面的问题。

技术细节补充： 在具体实现层面，Inkling 开源 975B 参数模型：架构与意义涉及多个关键技术组件的协同工作。首先是数据处理层，负责原始数据的清洗、转换和特征提取。这一层的质量直接决定了后续模型的性能上限。其次是模型层，包括架构设计、训练策略和优化方法。2026 年的最佳实践表明，模型选择应该根据具体场景的需求来权衡，而不是盲目追求最大参数量。最后是部署层，涉及推理优化、监控和持续迭代。一个完善的部署方案应该能够处理流量波动、检测数据漂移，并支持快速迭代。

未来趋势展望： 展望未来六到十二个月，Inkling 开源 975B 参数模型：架构与意义预计将在以下几个方向取得重要进展。第一，更高效的训练方法将大幅降低模型训练的成本和能耗。第二，多模态融合技术将使模型能够同时处理文本、图像、音频等多种数据类型。第三，边缘部署技术将使大模型能够在资源受限的设备上运行，拓宽应用场景。第四，可解释性研究将帮助我们更好地理解模型的行为和决策过程，增强用户信任。

实践建议： 对于正在考虑采用相关技术的团队，建议采取渐进式策略。首先从低风险、高价值的场景入手，积累经验和信心。其次建立完善的评估体系，持续监控模型性能和质量。第三重视数据治理，确保训练数据的质量和合规性。最后保持技术敏感度，及时跟进最新的研究成果和工程实践。在这个快速发展的领域中，持续学习和适应是成功的关键因素。

技术演进与行业影响： 从技术演进的角度来看，这一领域在过去两年中经历了从概念验证到实际应用的重大转变。早期的研究主要集中在理论框架和算法设计上，而近期的工作则更加注重工程实现和规模化部署。这种转变反映了整个 AI 行业从"研究驱动"向"产品驱动"的范式转移。值得注意的是，开源社区在这一过程中发挥了关键作用——通过开放源代码和预训练模型，降低了技术门槛，加速了创新迭代。

从行业影响来看，相关技术的普及正在重塑多个传统行业的运作模式。在金融领域，智能风控和自动化交易正在取代大量人工操作；在医疗领域，辅助诊断和药物发现正在显著提高效率；在教育领域，个性化学习和智能评估正在改变传统的教学方式。这些变化不仅提高了效率，也创造了新的就业机会和商业模式。

技术生态与产业链分析： 从产业链的角度来看，相关技术的生态系统正在快速成熟。上游的基础设施提供商（如云计算平台、芯片制造商）为技术创新提供了必要的算力支持。中游的工具和框架开发者降低了技术应用的门槛，使更多企业能够快速构建生产级应用。下游的应用开发者和行业专家则将技术与具体业务场景结合，创造出真正有价值的解决方案。这种多层次、多维度的产业协同，正在推动技术从实验室走向大规模商业应用。值得注意的是，开源社区在这一过程中发挥了关键作用，通过共享代码、模型和最佳实践，加速了整个行业的技术进步。

性能优化与工程实践： 在实际部署中，性能优化是一个持续的过程。常见的优化手段包括：模型量化（将浮点数转换为整数以减少内存占用和计算开销）、知识蒸馏（用大模型训练小模型以保留核心能力）、投机解码（使用小模型预测下一个token，大模型验证以提高速度）、连续批处理（动态调整批次大小以提高GPU利用率）等。此外，缓存策略、负载均衡和异步处理也是提升系统吞吐量的重要手段。工程实践中，团队需要根据具体的业务需求和资源约束，选择合适的优化组合，在性能、成本和质量之间找到最佳平衡点。