介绍

介绍

开源大语言模型的世界令人兴奋且不断发展。本课旨在深入介绍开源模型。如果你想了解专有模型与开源模型的比较，请访问“探索和比较不同的大语言模型”课程。本课还将涵盖微调主题，但更详细的解释可以在“大语言模型微调”课程中找到。

学习目标

• 了解开源模型
• 理解使用开源模型的优势
• 探索 Hugging Face 和 Microsoft Foundry 模型目录中的开源模型

什么是开源模型？

开源软件在各领域技术的发展中发挥了关键作用。开源倡议（OSI）定义了软件开源的10条标准，要求源代码必须在OSI批准的许可证下公开共享。

虽然大语言模型的开发与软件开发有相似之处，但过程并不完全相同。这引发了社区对开源定义在大语言模型领域的争论。为了符合传统开源定义，模型应公开以下信息：

• 用于训练模型的数据集。
• 训练过程中完整的模型权重。
• 评估代码。
• 微调代码。
• 完整的模型权重和训练指标。

目前只有少数模型符合这些标准。由艾伦人工智能研究所（AllenAI）创建的 OLMo 模型 就属于这一类。

在本课中，我们将这些模型统称为“开源模型”，因为它们在撰写时可能并不完全符合上述标准。

开源模型的优势

高度可定制 —— 由于开源模型发布了详细的训练信息，研究人员和开发者可以修改模型内部结构，从而创建针对特定任务或研究领域的高度专业化模型。例如代码生成、数学运算和生物学领域的应用。

成本 —— 使用和部署这些模型的每个令牌成本低于专有模型。在构建生成式人工智能应用时，应根据性能与价格对比评估这些模型在你的用例中的表现。

来源：Artificial Analysis

灵活性 —— 使用开源模型可以灵活地选择不同模型或组合模型。例如，HuggingChat 助手允许用户直接在界面中选择所用模型：

探索不同的开源模型

Llama 2

Llama2由 Meta 开发，是一个针对聊天应用优化的开源模型。这归功于其微调方法，包含大量对话数据和人类反馈。该方法使模型输出更符合人类预期，提升用户体验。

一些微调版的 Llama 模型示例包括专注于日语的Japanese Llama和增强版的Llama Pro。

Mistral

Mistral是一个注重高性能和效率的开源模型。它采用专家混合（Mixture-of-Experts）方法，将多个专业专家模型组合成一个系统，根据输入选择相应模型使用。这使得计算更加高效，模型只处理其专长的输入。

一些微调版 Mistral 模型示例包括专注医疗领域的BioMistral和执行数学运算的OpenMath Mistral。

Falcon

Falcon是由技术创新研究院（TII）创建的大语言模型。Falcon-40B 训练了 400 亿参数，表现优于 GPT-3，但耗费的计算资源更少。这得益于其采用的 FlashAttention 算法和多查询注意力机制，减少了推理时的内存需求。凭借降低的推理时间，Falcon-40B 适合聊天应用。

一些微调版 Falcon 模型示例包括基于开源模型构建的OpenAssistant及表现优于基础模型的GPT4ALL。

如何选择

选择开源模型没有唯一答案。一个良好的起点是利用 Microsoft Foundry 模型目录的按任务筛选功能，这有助于了解模型针对的训练任务。Hugging Face 还维护了一个大语言模型排行榜，展示基于特定指标的最佳表现模型。

在比较不同类型大语言模型时，Artificial Analysis是另一个很好的资源：

来源：Artificial Analysis

如果针对特定用例，搜索关注相同领域的微调版本很有效。试用多种开源模型以评估其表现是否符合你和用户的期望也是一个好方法。

下一步

开源模型最棒的地方是你可以很快开始使用。查看Microsoft Foundry 模型目录，其中包含了我们这里讨论的 Hugging Face 模型集合。

学习不会止步于此，继续前行

完成本课后，访问我们的生成式人工智能学习集合，继续提升生成式人工智能知识！

---

免责声明： 本文件由 AI 翻译服务 Co-op Translator 翻译完成。尽管我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始语言版文件应视为权威来源。对于重要信息，建议使用专业人工翻译。我们对因使用本翻译而产生的任何误解或误释不承担责任。